关于ZAKER Skills GEO服务 合作
雷锋网 2小时前

李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?

时隔两年,World Labs 的工作已经完全不同了。

作者丨齐铖湧

编辑丨岑 峰

2026 年 11 月,CoRL(机器人学习顶会)在奥斯汀开幕。

这一届的演讲嘉宾,有一个无法回避的名字,李飞飞。斯坦福教授、ImageNet 发起者、World Labs 创始人。就在本届 CoRL 之前,World Labs 被 AMD 收购的消息正在圈内发酵,她即将出任 AMD 首席科学家。这届 CoRL 现场,她不仅全面介绍了 World Labs 最近的工作和她的行业观点,还邀请 AMD 苏妈参与了对话圆桌,某种意义上,这是她的 "AMD 首秀 "。

为她做开场介绍的,是她的学生、本届 CoRL 组织者之一 Yuke(朱玉可)。他讲了一个细节:毕业典礼上,李飞飞对他说," 你在我的实验室时是我的学生,但从今往后,你是我的朋友。"

这场演讲的正式主角,是 World Labs 与斯坦福团队研发的新模型 Atlas:一个统一的生成与重建世界模型。

以下是 AI 科技评论带来的现场实录。

▎《Atlas:A Unified World Model for Generation and Reconstruction》

▎分享者:李飞飞

非常荣幸受邀来到 CoRL,尤其是有好几位我的前学生都是组织者。你们干得真棒,我知道,因为我很多论文和工作坊提案都被你们拒了。(全场笑)向 CoRL 致敬。

今天我想分享我们实验室最近开发的一个模型,叫 Atlas:一个统一的生成与重建世界模型。

既然在 CoRL,就先从机器人学的动机讲起。

机器人领域最近变化很大,但不管我们用什么方法,机器人要解决的根本问题是:给定世界状态、给定目标、给定机器人,每一个时刻下一步该做什么?

大体上,机器人需要解决几个问题:第一,理解和表示世界的状态,用隐式还是显式可以讨论,但 " 理解 " 本身很重要;第二,预测有后果的动作,并加以规划。雷峰网

最后,数据永远是难题。机器人是典型的长尾问题,成功部署极其受限,所以我们总希望能通过尽可能多地模拟不同环境来补充真实数据,用于训练和评估。

无论用什么方法,这三个问题在机器人学里都依然重要。而它们恰好对应世界模型要解决的问题:理解环境,对应渲染;预测动作后果,对应规划;模拟世界状态,对应仿真。

渲染、规划与仿真,世界模型的三大维度

我不想教条地说它们完全独立,实际上它们在很多方面可以统一、彼此衔接,这些都是这个领域最前沿、最令人兴奋的方向。

今天我要专门讲的 Atlas,主要解决渲染和仿真问题,尤其是模拟世界的几何以及 3D/4D 动态。

简而言之,Atlas 是一个从零训练的自回归基础模型,单一模型,接收多模态输入,文本、图像、视频、深度信号、灰度框(graybox)或 3D 结构信号。它输出像素帧;不仅生成时空上漂亮的帧,还能合成新视角,从而实现高精度、高保真的 3D 重建。

Atlas:聚焦于渲染和仿真

先回顾一点历史。

计算机视觉有两个非常重要的问题,研究者们花了几代人的时间去理解。

一是 3D 重建问题,从经典的 "Building Rome in a Day" 到最近的 NeRF 类神经渲染工作,根本问题是:给定不同相机位姿下的图像,构建符合真实世界的 3D 世界。大多数方法需要大量带位姿的图像;位姿覆盖不足时,重建出的区域就充满不确定性。

经典三维重建的问题所在

另一条线是生成式 AI。扩散架构天然适合多视角生成的探索,让我们离 " 生成 + 重建 " 越来越近。已有不少出色工作尝试联合去噪多个视角来保持空间一致性,但总体结果有限:空间一致性难维持,且每次去噪只对应固定目标视角,计算昂贵、无法实时。

经典三维重建很难维持空间一致性

改变视角或实时运行,计算成本太高

Atlas 延续这条思路,试图用一个模型架构、一套训练配方,把生成与重建统一在同一个屋檐下。

它是这样做的,首先是一个极端:给定多张图像,Atlas 做重建;图像足够多时,做稠密重建,很好地恢复场景。另一个极端:零像素条件,只给一个文本提示,Atlas 做纯生成,并生成多帧视角一致的图像。

Atlas 还能做连接两端的事:我们称之为稀疏重建:只给极少量视角,极端情况只有一张图,Atlas 能估计相机位姿,再生成尽可能多的视角,重建并生成完整世界。它在一个模型内,从稠密重建到稀疏重建再到纯生成,自由切换。

看个例子。

在座至少有人认得,这是斯坦福校园著名的主广场(Main Quad)。给定两张有限的图像,模型 " 幻觉 " 出一个主广场,熟悉斯坦福的人知道,这不是真的主广场,它 " 神似 " 但不是:有一点那些拱廊的影子,大部分是生成的。

给 8 张图,效果好得多,相对这么大的空间,8 张图非常稀疏,但它基本给出了整个广场的全貌,只是著名的纪念教堂缺失了,因为输入图像里没有它。

最后是 33 张图,总体上仍然非常稀疏,但其中一张里有纪念教堂,于是 Atlas 基本上重建出了漂亮的、完整的斯坦福主广场。

还有一点要指出:这 33 张图都是在地面上拍的,就是一个人拿着相机走了一圈,但我们生成了完全不同的视角,包括你们现在看到的这个航拍视角。

Atlas 的技术洞见是什么?就是大家都听过的下一 token 预测。

我们的说法是,视角即一切(Viewpoint is all you need)。在强相机条件下预测下一个视角,这就是我们的目标函数。架构上,它是一个多视角自回归扩散 Transformer。

所以 Atlas 可以:输入文本,生成带相机位姿的图像;输入图像,估计位姿,并基于输入生成更多新位姿的图像;接收多视角输入,沿不同相机路径在视角间插值和外推,恢复 3D 场景;还能接收深度图或灰度框,输出 RGB 像素,这在很多机器人和游戏场景里非常有用。

Atlas 的生成、重建能力非常强

看一些量化结果。

几天前,一个我们事先并不知情的第三方机构用约 50 万次人工判断,对多个最先进视频模型做了相机控制生成的盲测( Rapidata 测评机构),Atlas 排在榜首,明显领先第二名。

Atlas 能生成超过 60 秒、视角一致的视频。

我特别想对比一下我们一年半前的上一代模型:那时生成范围和几何一致性都非常有限,有人批评说:" 你们做的不是世界模型,是 closet models(秘密不公开的,类似于被关在橱柜里的模型)。"(全场笑)

现在,我们已经从 " 橱柜 " 走进了大得多的世界。

这是个有趣的生成例子:Atlas 能接收两张毫不相干的图像,估计出合理的相机位姿,再补全场景其余部分,创造出一个融合两处场景的奇幻世界。这对创意应用非常合适。还有这个:给 Atlas 灰度框输入,它能据此生成一个完整精美的大世界,这对机器人、设计和创意工作都很有用。

重建方面,我们拿 Atlas 和专门的 3D 重建模型对比:在深度预测任务上跨 7 个数据集测试,Atlas 甚至超过了最近最先进的专用 3D 重建与深度预测模型。

Atlas 本身不必使用高斯泼溅(Gaussian Splatting)做表示,但如果后置接上它,我们在 6 个数据集上与专用模型比较高斯泼溅重建误差,Atlas 同样达到很强的 SOTA 水平。我们还调节输入视角数量,从稀疏重建平滑过渡到稠密重建,在两个数据集上都表现很好。

看几个例子。这是 3D 重建社区很著名的一套公寓:只给 8 张图,Atlas 重建出这个相当大的公寓,我们可以采样各种视角,人对相机有完全的控制。这一个 " 单图升维 " 的例子:一张输入图,得到一个高斯泼溅世界,一个非常漂亮的奇幻空间。

这个例子里,模型不仅生成场景,还生成深度信息,让艺术家能精确控制相机方向,得到想要的运镜效果。

再看两个好玩的。熟悉电影的人知道 " 子弹时间 "(Bullet Time):《黑客帝国》里那个经典视效,当年需要数百台相机阵列捕捉时空动态。现在,用我们办公室里临时搭的 3 台 iPhone,Atlas 就能重建这个时空动态场景,呈现漂亮的子弹时间效果。

另一个进展是,我们最近把模型蒸馏到了实时运行:15fps。你们现在看到的是有人实时 " 驾驶 "Atlas、实时生成的录屏,可以看到保真度和视角一致性都非常好。

(编者注:多视角自回归扩散加上 15fps 实时生成,背后对底层算力吞吐的要求不言而喻。就在这场演讲结束后的对话中,李飞飞与 AMD CEO 苏姿丰两人正好深聊了世界模型与底层算力的协同问题,详见今日次条实录。)

最后,Atlas 在机器人仿真中确实有潜在应用,我们正在测试:既用于训练导航机器人,也用于把真实世界接入仿真、再回到真实的机器人操作。这些机器人只在仿真的虚拟世界中训练,却能零样本部署到真实世界。我们正在结合 Atlas 深化这项工作。

Atlas 可以给机器人重建空间,提供仿真环境

大家可以关注我们的 X 账号,很快就能看到这个工作的首映,我保证是个很棒的视频。创作者可以用 Atlas 实现创作梦想,精确的相机控制、物体交互和实时导航。我们很快会向全世界开放 Atlas,敬请期待。

最后打几个广告。一是斯坦福 BEHAVIOR 挑战赛,今年已是第二年,明天公布获奖者。今年非常激动人心,我们看到了包括生成式 AI 在内的新方法涌现。

此外,我还有很多学生很努力才进入 CoRL,我们有 6 篇论文,World Labs 团队和斯坦福学生团队为这些研究付出了很多。

谢谢大家。雷峰网

▎后记:

以上就是演讲全文,这个主题为《一个统一的生成与重建世界模型—— Atlas》的演讲结束后,李飞飞还与 AMD CEO 苏姿丰(Lisa Su)进行了一场关于算力、机器人与 " 这个时代最大的失误 " 的炉边对话。

这是在 AMD 收购 World Labs 后两位的首次同台,但那是另一个故事,我们下一篇推文见。

雷峰网

雷峰网

读懂智能&未来

订阅

觉得文章不错,微信扫描分享好友

扫码分享

企业资讯

查看更多内容