【CNMO 科技消息】第一视角（Ego）视频让数据采集从专业场地走进真实生活与工作场景，正成为具身智能预训练的重要数据来源。但拍下操作并不等于拿到了预训练所需的 4D 数据，系统还得准确辨认佩戴者的双手、还原手指弯曲姿态，并测量手在空间中的移动距离。近日，觅蜂科技联合西北工业大学、西安交通大学发表论文，提出第一视角运动重建框架 MEgoVista，用于把 Ego 视频更精准地转化为 4D 数据。
针对这些问题，MEgoVista 采用离线重建流程，分三步完成。第一步识别并持续跟踪佩戴者的双手，在检测位置、区分左右手的同时辨别哪些手属于佩戴者，避免多人互动时跟错对象，例如在美甲场景中分清美甲师和顾客的手。第二步通过多摄像头测量距离：MEgoView 头戴设备配备三颗鱼眼摄像头，以每秒 60 帧拍摄画面，中央摄像头分别与左右摄像头配对形成两组立体视觉，系统结合事先标定的相机间距与相对位置，估计手与摄像头之间的实际距离；为应对鱼眼畸变与安装角度的影响，先校正画面，再用 Foundation Stereo 估计深度，并综合两组结果、优先采纳可信度更高的信息。第三步优化整段动作，先筛选可靠观测，再结合前后帧信息进行调整，减少位置突变与手指过度弯折。
论文指出，MEgoVista 将第一视角视频中的操作还原为具有真实尺度的 4D 动作数据，并通过独立测量检验重建精度，为机器人学习提供更可靠的数据来源。觅蜂科技正持续推进 MEgo 系列设备量产，以及数据采集、治理和评测能力建设，此次研究成果为这一布局提供了新的技术支撑。
版权所有，未经许可不得转载
