一个从国内虚拟片场里成长出来的实时世界模型,在 NVIDIA 的舞台上拿了奖。
10 月 15 日,2026 NVIDIA 创业企业展示半程展示在苏州金鸡湖举行,来自重庆的达瓦科技凭借实时世界模型产品Scenes AI拿下「半程展示卓越企业奖」。
本届赛事在全国办了 11 场分站活动,580 多家科创企业报名,最终 30 家 NVIDIA 初创加速计划(Inception)会员进入半程展示。

不预测下一帧画面,而是维护一个持续运行的世界状态——场景、人物、相机、灯光、物体和物理,各自是一组可以单独读写的变量。
世界里每发生一点变化,模型要做的不是把整段画面重画一遍,而是只更新发生变化的那部分状态,再把结果写回世界,让下一刻在此基础上继续演化。
于是它要回答的问题也变了:不是 " 下一帧长什么样 ",而是如果改变世界里的一个变量,世界接下来会发生什么?
更关键的是,它的输入不是游戏引擎或代理画面,而是一台普通摄像头拍到的真实空间。
用达瓦自己的话说:A video is an output. A world is a process. 视频是一个结果,世界是一个过程。

先来看最新一版 Demo。
左上角是摄像头此刻拍到的真实房间:白墙、绿幕、一把铁艺椅子、墙角一只玩偶熊,一个人站在中间扶帽檐。
大画面是同一时刻的模型输出:房间变成了一片手绘风格的夏日草原,人变成了戴黄色棒球帽的动画少女,动作同步。
细看会发现,变的只是外观。椅子还在少女身后,小熊还坐在原来的 " 墙角 ",右侧深色柜子的位置和透视都没动,草地上甚至还隐约留着两面墙交汇的折线。
考点一:全局重渲染,结构不能乱。
这一帧里,唯一被改写的变量,就是「画风」。
人物动作、家具位置、遮挡关系和空间透视,全部被当作保持条件锁住。模型得先认出人、椅子、玩偶和柜子各是什么,再在整屋换风格的同时把它们钉在原位,而且每一帧都要成立。

同一场景里,一个小朋友在墙上写下 "DW 未来 ",随后抱起一只玩偶跑出了画面;男生起身,房间里长出了树,地上燃起一堆篝火;接着他又抬手控制天气,屋里先是飘雪,又下起了雨。
一连串事件下来,人来了又走,场景里长出了新东西,天气变了好几轮,墙上那四个字始终还在,位置和笔画都没变。
这考的是世界状态有没有被正确写回、并且持续保持。
对逐帧生成的模型来说,画面里的变化越多,之前留下的细节越容易被 " 冲掉 ",每一次重画都可能把它悄悄改掉;而在 Scenes AI 里," 墙上有字 " 在写下的那一刻就成了世界状态的一部分。之后无论发生什么,只要没有事件去改它,它就一直留在那里。



Demo 背后,是达瓦对世界模型的一个基本判断:
视频生成已经足够强大,但世界还没有开始运行。
主流视频生成的交付物是 " 一段结果 ":给一个提示词,生成一段好看的视频,然后结束。
即便做成逐帧连续合成,关注的仍是 " 下一帧看起来像什么 ",身份、几何、光照和物理上的误差,会随着时间一点点累积。
达瓦给世界模型下的定义不一样:改变一个状态变量之后,世界为何变化、又将如何演化。
举个最简单的例子,输入一句 " 把灯光变成夕阳 ":
传统视频模型:重新生成一遍视频,场景、人物、相机和物体都可能跟着漂移;
Scenes AI:场景、人物、相机和物体被冻结为保持条件,只有 " 光照 " 这一个变量改变,再由新的世界状态生成新画面。
达瓦把这套思路浓缩成一句话:修改一个变量,保留住整个世界。

按这个定义,一个持续运行的世界被拆成了五个部分:
Persistent World = World Memory + Neural Physics + Sparse Diffusion + Neural Rendering + AI Lighting
即世界记忆、神经物理、稀疏扩散、神经渲染和 AI 光照。

跨帧记忆、局部可控、物理与因果、实时计算效率,以及能解释 " 世界为何这样变化 " 的数据。
用他们的话说,难点不是造一个更大的模型,而是状态、控制、物理与算力必须同时成立。

技术架构:控制层做重,生成层做轻
把这条路线落成工程系统,达瓦的做法可以概括为一句话:控制层做重,生成层做轻。
Scenes AI 没有把所有问题都交给一个大模型逐帧重画,而是在 " 创作意图 " 和 " 画面生成 " 之间,加了一层以世界状态为核心的控制系统,达瓦称之为视频生成的控制层。

渲染层:接收控制层下发的条件,只把需要变化的部分生成出来,再合成回画面。
一条典型的运行链路是:
世界状态 → 行动或接触事件 → 状态更新 → 局部生成与合成 → 结果写回。
还是拿前面那段 "DW 未来 " 的 Demo 来看:
小朋友在墙上写字时,事件层识别出书写动作和接触位置,即墙面;
控制层据此更新世界状态,把 " 墙上有字 " 记到墙面这个对象上;
随后,场景中长出树、燃起篝火、下雪又下雨,控制层只更新对应的场景元素和天气变量,渲染层只生成树、火焰、雪花和雨滴以及它们带来的光影变化,墙面和字迹直接沿用已有表示;
雨雪这类天气过程来了又走,属于短时变化;墙上的字则作为持久状态一直保留在世界里,供后续镜头和交互继续读取。
这里有个关键区分:哪些变化是 " 瞬态 " 的,哪些是 " 持久 " 的。
前者交给渲染层处理完即可,后者必须进入世界状态。Demo 里 " 坑还在 "" 字还在 ",都是这一机制的外在表现。

一种做法由上游引擎或程序显式写出规则和状态,模型以参考画面为接口做渲染,适合规则明确的游戏与原型;
Scenes AI 面向的是真实拍摄和直播空间,世界状态要由模型从摄像头画面里解析出来,再持续维护、推演并写回。

精准控制落在控制层,核心模块是Latent Stage。
一是变量解耦。
Latent Stage 在潜空间里把场景、人物、相机、光照、服装、道具和物理拆成一个个独立的 " 舞台 ",可以单独演化,也可以联合约束。
每次编辑都有明确的 " 改动集 " 和 " 保持集 ":改光照时,场景、人物和机位被锁定;换服装时,人物身份和身体动作继续约束生成。
截图里 " 画风全换、家具不动 ",就是改动集和保持集分得足够干净的结果。

达瓦提出的非线性视角矩阵融合方法,把影像从 " 线性时间 " 变成 " 可编辑矩阵 ":角色、环境、相机、光照、物体和运动被拆成可以重新组合的视觉要素,方便控制层理解镜头运动、融合真实与生成内容。
相关演示论文《NVD: Non-Linear View Matrix Fusion for 2D Video Using Multimodal Foundation Models》已被 ACM UbiComp / ISWC 2026 接收,并于 10 月 13 日在上海国际会议中心现场展示。该研究由达瓦 AIGC 研究院联合香港理工大学、伊利诺伊大学厄巴纳 - 香槟分校、纽卡斯尔大学共同完成。

World Memory 持久化缓存历史状态片段,为后续生成提供可查询、可更新的上下文。
镜头离开再回来时,模型读取的是这块区域的状态记录,而不是重新想象一面墙。
达瓦把长时序记忆看作当前最关键的挑战,即身份、空间、物理与故事状态都必须跨时间保持一致。
如果没有因果记忆,堆再多 GPU 也解决不了问题。
四是物理约束。
Neural Physics 覆盖刚体、布料、流体和粒子,围绕碰撞与重力组织生成条件,决定火该烧到哪里为止、布料该怎么被推开;Neural Renderer 再把几何、材质和光照转成画面。
物理状态由此成为生成、训练与评估的共同参照,而不是把视频本身当作答案。
在连续编辑测试中,Scenes AI 的目标编辑成功率为 98.2%,人物身份保持率为 93.3%。

渲染层由实时生成模型LiveStage承担。它要解决的问题很具体:
在一张消费级显卡的算力和显存预算里,让画面持续、低延迟地跟上真人。
第一,稀疏扩散自回归。
自回归负责沿时间持续演化,稀疏计算限定每一步的更新范围,这意味着,模型预测的是状态增量,而不是一整幅新画面。
基于对 300 多个真实商业拍摄项目数据的分析,达瓦发现,典型场景中每帧真正变化的区域只占画面的10% — 20%。
于是,墙面、地板等稳定区域通过潜空间缓存(Latent Cache)直接复用,算力集中给人物、面部、手部、布料、烟雾、光影和交互区域。

渲染层接收控制层下发的一组条件,包括事件类型、位置、速度、强度、对象身份、材质和局部历史,并只对变化区域做少步采样,再把局部结果合成回持久的世界画面。
" 因果化 " 意味着每一步只依赖已经发生的历史,适合流式输出;
" 微扩散 " 意味着每次只处理局部小区域,而不是整幅画面。
第三,稀疏激活。
模型总参数 34B,每一步只激活约 4B,激活比约 11.8%。
空间上的局部更新减少 " 要算多少 ",模型内部的稀疏激活控制 " 每次用多少参数算 ",以上共同构成了 "大模型的容量,实时的计算路径 " 这一特点。


最终,在单张 NVIDIA GeForce RTX 消费级显卡上,Scenes AI 实现了 720P、25 帧的实时输出。
底层算力:原生构建于 NVIDIA 技术栈。
达瓦与 NVIDIA 的技术合作始于 2018 年,那一年达瓦购入了第一套 NVIDIA DGX-1。
今天,Scenes AI 用 CUDA 做训练与推理加速,用 TensorRT 做推理优化,用 NVENC 支撑实时视频编码输出。
稀疏更新减少无效计算,Latent Cache 利于显存复用,分层架构也天然适配分层部署,这套机制本身就是围绕 GPU 的并行计算与计算复用设计的。

路线想清楚了,真正难的是把它训出来。达瓦的积累可以拆成三层。
第一层:状态数据
要学 " 世界怎么变 ",光有视频不够。
互联网视频大多是剪辑后的成品,机位怎么走、灯怎么打、道具什么时候被拿起,这些过程信息几乎都被剪掉了,像素本身解释不了世界为何这样变化。
达瓦的说法是:不是 Video Dataset,是 State Dataset。
达瓦在重庆永川运营一座 8.4 万平方米的全流程数字化科技片场。
过去 5 年,团队从 300 多个真实商业项目中持续采集、标注和梳理数据,沉淀了约180TB 结构化世界状态数据,覆盖相机轨迹、动作轨迹、对象状态、光照状态、物理状态与叙事状态六类核心维度。
单场戏会做 300 多个维度的结构化标注,让镜头、光学、空间、表演和动作对齐到同一条时间轴上。


三类数据分工明确:真实拍摄提供分布,仿真提供精确状态,生成数据补齐覆盖。

达瓦训练的不是一个 " 视频生成器 ",而是一个持续演化的世界系统,整体分五个阶段:

时空预测训练:未来预测、视频补全、状态重建,学习时间演化而非连续视频拼接;
专项能力训练:局部稀疏微扩散、非线性视频矩阵、神经渲染与神经物理等模块分别专精;
联合优化:多任务联合训练与课程学习,在共享潜空间中端到端优化;
Agent 驱动强化学习:导演、摄影、灯光、动画等多智能体协同,持续优化镜头质量与场景一致性。
第三层:生产闭环
达瓦本身就在做真实的影视和短剧生产。客户的修改、交互中的反馈、模型出错的案例,会回流成下一轮数据筛选、补采和训练的入口,也就是说,模型在片场被检验,片场又反过来喂养模型。
" 我们每天都在拍真实的电影和短剧,每一次打光、每一次运镜,都在告诉模型这个世界是如何运转的。" 达瓦科技联合创始人陈亮表示," 世界模型的下一场竞争,属于拥有真实世界过程的团队。"

世界模型不应该是个悬浮的概念,落到具体应用上,这套路线对应着几类明确的场景:
影视与短剧:导演在可控的场景下调整和转化更多创意,把每一个灵感即时转化为参数化的天气、光照、服装和环境方案;
直播与电商:把一个个的 " 格子直播间 " 变成真正的 " 场景直播间 ",主播身处的空间随商品和话题实时切换,在雪地里卖雪地靴,在高山上卖徒步鞋;
文旅、游戏与互动展示:内容不再是被单向观看的对象,用户可以直接进入真实空间,进行互动、改写、延续。
它们共享同一组要求:改动必须可控,输出必须及时,成本必须可估算。
一张消费级显卡、一台本地主机即可运行,不依赖云端算力,这才是从实验室演示走向更接近实际部署的真实环境。

"NVIDIA 为实时世界模型提供了坚实的计算底座。" 他表示," 我们希望和 NVIDIA 生态一起,让世界模型从实验室走进真实生产,让每一位创作者都能用一张显卡,实时构建、改写并走进一个持续运转的世界。"

回头看达瓦这几年的路径,几块关键拼图已经各就各位。
数据有了,8.4 万平方米片场、300 多个真实项目、180TB 世界状态数据,而且还在持续积累;
模型跑通了,34B 世界模型在一张消费级显卡上实时运行,精准控制与实时渲染同时成立;
认可也来了,8 月深圳站第一,10 月 UbiComp 论文亮相,同月拿下 NVIDIA 半程展示奖。

视频会结束,世界不会。对 Scenes AI 来说,这个世界才刚刚开始运转。
* 本文系量子位获授权刊载,观点仅为原作者所有。
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法!
— 完 —
点亮星标
科技前沿进展每日见