
作者丨齐铖湧
编辑丨岑 峰
2026 年 11 月,CoRL(机器人学习顶会)在奥斯汀开幕。
这一届的演讲嘉宾,有一个无法回避的名字,李飞飞。斯坦福教授、ImageNet 发起者、World Labs 创始人。就在本届 CoRL 之前,World Labs 被 AMD 收购的消息正在圈内发酵,她即将出任 AMD 首席科学家。这届 CoRL 现场,她不仅全面介绍了 World Labs 最近的工作和她的行业观点,还邀请 AMD 苏妈参与了对话圆桌,某种意义上,这是她的 "AMD 首秀 "。
为她做开场介绍的,是她的学生、本届 CoRL 组织者之一 Yuke(朱玉可)。他讲了一个细节:毕业典礼上,李飞飞对他说," 你在我的实验室时是我的学生,但从今往后,你是我的朋友。"
这场演讲的正式主角,是 World Labs 与斯坦福团队研发的新模型 Atlas:一个统一的生成与重建世界模型。
以下是 AI 科技评论带来的现场实录。
▎《Atlas:A Unified World Model for Generation and Reconstruction》
▎分享者:李飞飞
非常荣幸受邀来到 CoRL,尤其是有好几位我的前学生都是组织者。你们干得真棒,我知道,因为我很多论文和工作坊提案都被你们拒了。(全场笑)向 CoRL 致敬。
今天我想分享我们实验室最近开发的一个模型,叫 Atlas:一个统一的生成与重建世界模型。

机器人领域最近变化很大,但不管我们用什么方法,机器人要解决的根本问题是:给定世界状态、给定目标、给定机器人,每一个时刻下一步该做什么?


无论用什么方法,这三个问题在机器人学里都依然重要。而它们恰好对应世界模型要解决的问题:理解环境,对应渲染;预测动作后果,对应规划;模拟世界状态,对应仿真。

我不想教条地说它们完全独立,实际上它们在很多方面可以统一、彼此衔接,这些都是这个领域最前沿、最令人兴奋的方向。
今天我要专门讲的 Atlas,主要解决渲染和仿真问题,尤其是模拟世界的几何以及 3D/4D 动态。
简而言之,Atlas 是一个从零训练的自回归基础模型,单一模型,接收多模态输入,文本、图像、视频、深度信号、灰度框(graybox)或 3D 结构信号。它输出像素帧;不仅生成时空上漂亮的帧,还能合成新视角,从而实现高精度、高保真的 3D 重建。

先回顾一点历史。
计算机视觉有两个非常重要的问题,研究者们花了几代人的时间去理解。
一是 3D 重建问题,从经典的 "Building Rome in a Day" 到最近的 NeRF 类神经渲染工作,根本问题是:给定不同相机位姿下的图像,构建符合真实世界的 3D 世界。大多数方法需要大量带位姿的图像;位姿覆盖不足时,重建出的区域就充满不确定性。

另一条线是生成式 AI。扩散架构天然适合多视角生成的探索,让我们离 " 生成 + 重建 " 越来越近。已有不少出色工作尝试联合去噪多个视角来保持空间一致性,但总体结果有限:空间一致性难维持,且每次去噪只对应固定目标视角,计算昂贵、无法实时。

改变视角或实时运行,计算成本太高
Atlas 延续这条思路,试图用一个模型架构、一套训练配方,把生成与重建统一在同一个屋檐下。
它是这样做的,首先是一个极端:给定多张图像,Atlas 做重建;图像足够多时,做稠密重建,很好地恢复场景。另一个极端:零像素条件,只给一个文本提示,Atlas 做纯生成,并生成多帧视角一致的图像。
Atlas 还能做连接两端的事:我们称之为稀疏重建:只给极少量视角,极端情况只有一张图,Atlas 能估计相机位姿,再生成尽可能多的视角,重建并生成完整世界。它在一个模型内,从稠密重建到稀疏重建再到纯生成,自由切换。

在座至少有人认得,这是斯坦福校园著名的主广场(Main Quad)。给定两张有限的图像,模型 " 幻觉 " 出一个主广场,熟悉斯坦福的人知道,这不是真的主广场,它 " 神似 " 但不是:有一点那些拱廊的影子,大部分是生成的。

最后是 33 张图,总体上仍然非常稀疏,但其中一张里有纪念教堂,于是 Atlas 基本上重建出了漂亮的、完整的斯坦福主广场。
还有一点要指出:这 33 张图都是在地面上拍的,就是一个人拿着相机走了一圈,但我们生成了完全不同的视角,包括你们现在看到的这个航拍视角。
Atlas 的技术洞见是什么?就是大家都听过的下一 token 预测。
我们的说法是,视角即一切(Viewpoint is all you need)。在强相机条件下预测下一个视角,这就是我们的目标函数。架构上,它是一个多视角自回归扩散 Transformer。
所以 Atlas 可以:输入文本,生成带相机位姿的图像;输入图像,估计位姿,并基于输入生成更多新位姿的图像;接收多视角输入,沿不同相机路径在视角间插值和外推,恢复 3D 场景;还能接收深度图或灰度框,输出 RGB 像素,这在很多机器人和游戏场景里非常有用。

看一些量化结果。
几天前,一个我们事先并不知情的第三方机构用约 50 万次人工判断,对多个最先进视频模型做了相机控制生成的盲测( Rapidata 测评机构),Atlas 排在榜首,明显领先第二名。
Atlas 能生成超过 60 秒、视角一致的视频。


这是个有趣的生成例子:Atlas 能接收两张毫不相干的图像,估计出合理的相机位姿,再补全场景其余部分,创造出一个融合两处场景的奇幻世界。这对创意应用非常合适。还有这个:给 Atlas 灰度框输入,它能据此生成一个完整精美的大世界,这对机器人、设计和创意工作都很有用。
重建方面,我们拿 Atlas 和专门的 3D 重建模型对比:在深度预测任务上跨 7 个数据集测试,Atlas 甚至超过了最近最先进的专用 3D 重建与深度预测模型。


看几个例子。这是 3D 重建社区很著名的一套公寓:只给 8 张图,Atlas 重建出这个相当大的公寓,我们可以采样各种视角,人对相机有完全的控制。这一个 " 单图升维 " 的例子:一张输入图,得到一个高斯泼溅世界,一个非常漂亮的奇幻空间。


再看两个好玩的。熟悉电影的人知道 " 子弹时间 "(Bullet Time):《黑客帝国》里那个经典视效,当年需要数百台相机阵列捕捉时空动态。现在,用我们办公室里临时搭的 3 台 iPhone,Atlas 就能重建这个时空动态场景,呈现漂亮的子弹时间效果。
另一个进展是,我们最近把模型蒸馏到了实时运行:15fps。你们现在看到的是有人实时 " 驾驶 "Atlas、实时生成的录屏,可以看到保真度和视角一致性都非常好。
(编者注:多视角自回归扩散加上 15fps 实时生成,背后对底层算力吞吐的要求不言而喻。就在这场演讲结束后的对话中,李飞飞与 AMD CEO 苏姿丰两人正好深聊了世界模型与底层算力的协同问题,详见今日次条实录。)


大家可以关注我们的 X 账号,很快就能看到这个工作的首映,我保证是个很棒的视频。创作者可以用 Atlas 实现创作梦想,精确的相机控制、物体交互和实时导航。我们很快会向全世界开放 Atlas,敬请期待。
最后打几个广告。一是斯坦福 BEHAVIOR 挑战赛,今年已是第二年,明天公布获奖者。今年非常激动人心,我们看到了包括生成式 AI 在内的新方法涌现。


谢谢大家。雷峰网
▎后记:
以上就是演讲全文,这个主题为《一个统一的生成与重建世界模型—— Atlas》的演讲结束后,李飞飞还与 AMD CEO 苏姿丰(Lisa Su)进行了一场关于算力、机器人与 " 这个时代最大的失误 " 的炉边对话。
这是在 AMD 收购 World Labs 后两位的首次同台,但那是另一个故事,我们下一篇推文见。