来源:新浪科技
新浪科技讯 11 月 10 日中午消息,具身数据公司诺亦腾机器人(Noitom Robotics)宣布在 Hugging Face 公开发布高精度手部动作捕捉数据集 HiPHI-Hand,该数据集已用于训练英伟达的 3D 手部重建模型 EgoHand。
据诺亦腾方面介绍,EgoHand 基于 NVIDIA Isaac Capture 框架构建,仅需单目摄像头拍摄的第一人称视角视频,即可还原手部三维姿态与形状,模型以 OpenMDW 许可发布、允许免费商用。英伟达方面称,该模型使用 1400 万张图像训练,素材来自合成数据、真实场景视频及多摄像头动捕真值数据,在公开的第一人称视角基准测试中零样本精度达到当前 SOTA 水平,单帧推理延迟约 9 毫秒。
数据采集环节,团队在数采员手指上布置微型标记点,用光学动作捕捉系统记录人手与物体的交互过程,并与 SOL 头戴设备拍摄的第一视角视频同步。诺亦腾表示,即使手部在画面中受到遮挡,光学追踪系统仍可提供亚毫米级精度的三维手部真值;英伟达随后将这批数据处理为 SOMA-Hand 表征,作为 EgoHand 的真实世界训练数据来源之一。
此次公开的数据与交付英伟达的数据一致,包括 11 小时同步采集的双目鱼眼相机第一人称视频、以头戴设备 IMU 为参照的相机外参,以及通过光学动捕获得的三维手部位姿。数据集沿用 ModalityNet 开放研究许可 v1.0 发布,可免费用于非商业的科学研究、教育和评估。2026 年 8 月,该公司已在 Hugging Face 发布记录全身动作与人 - 物交互的 HiPHI 数据集。