近日,大晓机器人联合南洋理工大学 S-Lab 发布面向具体环境构建,可探索、可交互的世界模型—— Mundo。Mundo 支持与 Atlas 类似的场景重建、自由视角探索和时空模拟能力。相较于 Atlas 来说,Mundo 可以将物体的质量、摩擦等物理属性纳入场景程序,通过物理引擎计算运动、接触与碰撞。同时,Mundo 支持调用智能体,通过代码编辑场景中的物体、属性与动作,将少量影像转化为可自由探索、可编程交互、可用于机器人导航与操作训练的三维世界。
Mundo 将三维场景表示、物理仿真与视频生成相结合,结合 Astra 打造全新空间理解能力,先通过影像场景与物体,并可以通过代码实现场景可以编辑,再通过代码定义、编辑物体属性和动作。物理引擎计算运动与碰撞,视频模型结合参考影像渲染结果,形成从场景重建、代码编辑到交互模拟的完整流程。场景既能被看见,也能响应动作、记录变化,进而成为机器人训练与测试的环境。
这一能力为机器人进入具体商业场景提供了支持。在大晓机器人以 Kairos 为核心的世界模型技术体系中,Mundo 补充环境建模、训练数据生成与仿真训练能力,帮助机器人完成场景适配和策略优化。
少量图像构建专属世界模型,支持跨空间长路径生成
Mundo 将少量图片或者视频,拓展为可持续探索的三维空间,同一组参考图像可以支持多条相机路径;面对更大场景,还可动态选择上下文,连续生成数十秒至分钟级的探索画面。
具体来看,Mundo 从真实场所的上下文影像出发,先建立三维代理,确定不同视图之间的空间关系,再沿指定相机路径生成新视角。在此次展示的场景中,输入 1 至 12 张图像,即可围绕房间中的家具和空间结构展开探索。同一组参考图像可以服务于多条路径,让观察位置和角度自由变化。建模过程中,三维检测器为主要物体提供初始位置与范围,视觉语言模型智能体进一步调整代理场景,通过渲染、比较和修正,让场景结构与输入影像相互对应。

这种能力也能从一张生成图像或画作开始,将其中的结构和视觉风格延伸到新的视角。对于真实场所,更多观测帮助模型接近现场;对于创意场景,单张图像则提供了构建可探索空间的起点。面对更大的环境,Mundo 使用数十张上下文图像,支持数十秒至分钟级的长路径生成。它沿同一个三维代理分段生成画面,为每一段选择相关参考视图,并通过重叠帧衔接前后片段,使局部外观和全局空间拥有共同依据。

物体具备物理属性,推拉碰撞都有可计算的响应
要让机器人在场景中练习,环境必须能够响应动作。抽屉被拉开、椅子被推动、物体落到地面,都需要对应的位置变化和接触关系。
Mundo 可以通过代码编辑世界,通过场景程序描述物体的名称、尺寸和位姿,并为其配置质量、摩擦等物理属性。脚本定义动作和施加的力,物理引擎计算物体在重力与接触约束下的响应,得到运动轨迹、接触位置和碰撞力。随后,Mundo 结合环境参考图像,将这些变化渲染到对应场景中。


让每次交互都有可追踪的状态、可计算的过程,是场景从可观看走向可使用的关键。 Mundo 将物理交互引入重建环境,为机器人练习动作及分析结果提供了具体依据。
在同一环境贯通导航、操作与四维模拟,构建机器人训练场
在同一个定制场景中,Mundo 进一步支持机器人移动和操作,将环境重建连接到机器人测试与训练。
导航方面,三维代理提供物体类别、位置、障碍物和可通行区域等信息,路径规划器据此寻找路线。Mundo 可以生成不同机器人沿路线行进的第一人称和第三人称画面,将空间布局与机器人沿途观察联系起来。


Mundo 还将空间探索拓展到时间维度。对于多相机记录的动态事件,可以从新视角呈现过程;对于基于图像构建的模拟事件,则通过重力和接触动力学计算运动。在选定时刻暂停时间,再移动相机,即可从多个角度观察同一瞬间,形成 " 子弹时间 " 效果,辅助查看动作细节和遮挡关系。
从导航到操作,再到四维时空观察,Mundo 为机器人提供了可反复演练、可多角度检查的环境。在酒店应用中,团队已利用它重建楼层与洗衣区域,为导航提供空间和语义信息,并模拟洗衣机开门等交互,为机器人理解任务与开展训练提供支持。
世界模型的产业价值,要由它对真实任务的贡献来体现。 在大晓机器人以 Kairos 为核心的世界模型技术体系中,Mundo 补充具体环境建模与仿真训练能力,连接现场采集、数据生成和策略优化,服务于机器人进入实际工作场景。