关于ZAKER Skills 合作
猎云网 14小时前

智在无界发布 Being-M0.7,用隐式世界动作模型打通人形机器人的全身移动灵巧操作

来源:猎云网

7 月 15 日,通用具身基础模型公司智在无界 BeingBeyond 正式发布 Being-M0.7 ——全球首个全身移动操作隐式世界动作模型(Latent WAM)。

这不是一个只能让机器人 " 看到 " 世界的模型,而是一个能让机器人 " 理解 " 世界如何运转、并据此做出全身移动操作的模型。它打通了从视觉感知到全身移动、再到灵巧操作的完整链路,让机器人不再局限于桌面及操作任务,而是成为真正具备人类全身协调能力的智能体。

Being-M0.7 通过超 10000 小时的人类第一人称视频预训练和极小样本真机适配,在 " 隐空间 "(latent space)中,基于隐式视觉信息和运动信息推演物理变化,让机器人在真正理解物理世界的基础上,通过全身移动操作与物理世界交互。

在被具体化为机器人可执行的指令之前,模型先从大规模以人为中心的数据中学习了三项核心能力:视觉上下文理解、未来状态预测、以及人形运动学结构的隐式表征。换言之,模型在 " 学会控制 " 之前,已经先 " 学会了理解 "。

1. 从 Being-H 到 Being-M,智在无界持续引领隐式世界动作模型范式

智在无界是全球率先押注大规模人类视频训练路线的具身智能企业,也是全球极少数同时布局通用灵巧操作与移动操作模型的创新公司,更是国内首个推出原生隐空间世界动作模型的团队。

今年 4 月,智在无界发布了 Being-H0.7,将数据规模扩展至 20 万小时人类第一人称视频。在 6 项国际性权威评测中,H0.7 综合排名全球第一,同时也是首个覆盖跨本体、跨场景、连续动态、流体、柔性物体、物理规律与上下文推理等七大关键维度的通用具身世界模型。

Being-M0.7 是这一隐式世界动作模型路线的最新成果,也是全球首个将隐式世界动作模型能力从 " 桌面灵巧操作 " 扩展到 " 全身移动操作 " 的模型。隐式世界动作模型让机器人建立对物理世界的 " 内心推演 ":不只是识别眼前的物体,还要预判它们会如何运动、如何相互作用、自己的动作会对环境产生什么后果。这些推演不需要生成任何像素画面。模型在表征里直接 " 感知 " 到物理规律的存在,从而精准输出动作完成任务。

Being-M0.7 的四大 Demo 展示了这些能力:机器人基于对物理世界的理解,自主做出全身移动操作决策。

Demo 1:鱼缸捞鱼——流体、浮力等物理规律理解

「视频文件见附件」

视频说明:机器人走到鱼缸前,手持渔网从水中捞鱼。液体没有固定形状,会对浸入的物体产生浮力和阻力。机器人通过判断水、渔网和鱼之间的相互作用,协调手臂完成捞鱼动作。

Demo 2:镜像取物——镜面反射的物理规律理解

视频说明:机器人走到镜子前,根据镜中画面判断隐藏物体在真实空间中的位置,并精准抓取。这个演示体现出机器人对镜面反射原理的理解。

Demo 3:移动放置抓取——全身移动与灵巧操作的协同

视频说明:机器人走到桌前,先取出法棍放入篮子里,再取出花束,转身离开。体现出机器人全身移动与灵巧操作的协同,并且能够完成串联多个子任务的长程任务。

Demo 4:搬箱避障——物理空间理解与全身运动决策

视频说明:机器人抱着箱子穿越障碍物,在第一人称视角被箱子遮挡的情况下,依然能够预测规划行走路线,并自主决策,侧身通过狭小区域,体现多方向移动、避障和负载感知操作的闭环。

二、基于 MoT 架构,Vision 和 Motion 分工协作,实现高效数据利用

人形机器人的全身移动操作,不仅需要第一人称视觉信息(Vision)来进行空间感知,还需要理解自身在物理世界的位置、姿态,更需要结合空间感知进行决策和规划,输出未来要执行的运动信息(Motion)。

但高质量的 Motion 数据一般通过动捕获得,成本较高;Vision 与 Motion 对齐的配对数据更为稀缺。在这种情况下,如何充分利用所有可用数据,是实现人形机器人领域具身基础模型规模化的关键。

智在无界选择了 MoT(Mixture-of-Transformers)这一混合 Transformer 多模态模型架构。它的核心设计是:让视觉和运动各自有专门的 " 处理通道 ",只在需要时交换信息。

它不仅可以处理 Vision+Motion 配对数据,还可以同时处理纯 Vision 数据、纯 Motion 数据,将这些数据高效融合利用。这不仅扩大了可用数据规模,更容易规模化训练,也可以从概率建模角度理解为对联合分布的边际约束。Vision+Motion 的配对数据充分发挥跨模态注意力的优势,非配对数据则各自贡献于对应的模态流,天然兼容模态不完备的真实世界数据。

与此同时,为了解决人类与机器人在本体形态上的根本差异,智在无界进一步引入了一套统一的运动表征,将人类运动与人形机器人轨迹纳入同一表示空间。相比于仅使用可执行指令标签进行监督的传统方案,这套共享表征提供了更丰富的后训练监督信号——模型可以从人类数据中提取稠密的运动级知识,而非仅依赖稀疏的任务标签。

另外,统一的运动表征在推理阶段建立了额外的运动级反馈通路,为实现协调的全身控制提供了闭环支撑。

Being-M0.7 的预训练基于超过 10000 小时的人类第一人称视频数据及 motion 数据。在掌握了全身运动空间中的协调模式后,真机数据只需将隐式世界模型映射到具体机器人的本体运动学,即可完成基于视觉的移动操作策略训练。因此,后训练只需要较少样本完成真机适配。

三、可扩展的多模态融合范式,通往更通用的具身智能

在智在无界看来,Vision-Motion MoT 架构还有一个更为深远的意义:它确立了一套可扩展的融合范式,为具身基础模型打开了新的可能性。

在 Being-M0.7 的训练中,智在无界团队建立起超 10000 小时的大规模混合模态预训练数据,从过去昂贵、稀缺的机器人真机演示,拓展至海量人类行为数据。而 Being-M0.7 作为面向人形机器人的隐式世界动作模型,也首次实现了第一人称视觉 Vision 和 Motion 两个模态的联合预训练。

这只是起点。未来,随着文本、音频、触觉等多模态数据的持续引入,模型对物理世界的理解将更加立体和完整。文本可以提供高层任务语义,音频可以捕捉环境声音线索,触觉可以反馈接触力与材质信息——这些信号与视觉、运动数据在 MoT 架构中分层融合,将让机器人不仅能 " 看到 " 和 " 动起来 ",还能 " 听懂指令 "、" 感知材质 "、" 理解语境 "。随着数据规模的持续 Scale Up,这套范式的能力边界将持续向外拓展。

这正是具身基础模型的发展趋势:在预训练中覆盖更多模态、更多维度的数据,让模型从单一感知通道走向全感官融合。

接下来,智在无界将围绕 Being-M 系列模型持续迭代,不断探索隐式世界动作模型的上限,走向真正通用的具身智能。

觉得文章不错,微信扫描分享好友

扫码分享

企业资讯

查看更多内容