手把手教机器人，直接就能让它学到真本事！
不管是采茶沏茶做早餐，这些精细活儿都「手」到擒来。还是灵巧手的那种。
△星动纪元灵巧手星动 XHAND 1
△星动纪元灵巧手星动 XHAND 1
来自斯坦福大学、哥伦比亚大学、摩根大通 AI 研究院、卡耐基梅隆大学、英伟达提出了一种数据采集与策略学习框架DexUMI——
利用人手作为自然接口将灵巧操作技能迁移至多种灵巧手。该框架通过硬件与软件的双重适配，最大限度缩小人手与各类灵巧手之间的具身差异。
相信不少人看过去年他们发布的 UMI，通过记录并学习人类操作，让夹爪类机器人学会洗碗，结果在行业引发不小的关注和轰动。
今年，他们将夹爪升级到更复杂更高自由度的灵巧手，让机器人学会更丰富更精细的操作任务，势必也将引发新一轮灵巧手数采革命。
正在首尔举办的 CoRL 2025 中，它被提名为最佳论文。
值得一提的是，其中全驱采用的灵巧手正是出自国产明星具身玩家星动纪元的星动 XHAND 1。
人类双手在执行各类任务时展现出惊人的灵活性，那么通过「手把手教机器人做事」，也许就能来让机器人解锁各种新任务。去年的 UMI 验证了这一思路的有效性。
它是一款可穿戴式夹爪设备，它能高效采集机器人训练数据。通过装有 GoPro 和 IMU 传感器的手持夹爪，UMI 能够精准高效地记录人类操作动作，并用于训练策略部署在机械臂真机上。UMI 设备低成本，能够在 15 分钟内完成组装。这解决了夹爪类机器人操作数据采集慢，这一困扰众多科研工作者的难题。
最核心的原因在于两者之间存在显著的差异，包括在动力学结构、接触面形态、 视触觉感知等多个维度。
再加之不同灵巧手在自由度、驱动方式、大小尺寸等方面存在工程设计的多样性。因此要是缩小具身的差异，还需要考虑兼容各种硬件设计空间。
遥操已成为灵巧手的主流控制方式。但空间观测错位和触觉反馈缺失导致其操作困难，而这些障碍在人类直接执行操作任务时并不存在。
相较而言，人类的双手本身是更优越的操作接口。
基于这一背景下，本文提出了一个核心问题：
如何缩小具身差距，使人类手部成为各类灵巧手的通用操作界面？
DexUMI 框架主要通过硬件和软件两方面的创新来搭建一座桥梁。
硬件方面，设计了可穿戴外骨骼装置。
团队针对每款灵巧手设计了专用外骨骼，通过硬件优化框架调整外骨骼参数（如连杆长度），使其在保持人手可穿戴性的同时，精准匹配灵巧手指运动轨迹。
△星动 XHAND 1 外骨骼
该装置采用编码器精准捕捉关节运动，配备 150 ° 广视场角相机记录视觉观测数据，并通过刚性连接的 iPhone 借助 ARKit 技术追踪手腕位姿。
具体包含四个步骤：
人手与外骨骼分割
环境背景修复
生成对应灵巧手视频
机器人示教视频合成
首先利用 SAM2 对观测视频中的人手及外骨骼进行分割（图 4b）。由于 SAM2 需初始提示点，团队建立了标准化操作协议：操作者始终以相同手势开始演示，使得所有示教数据均可复用同一组提示点。
环境背景修复
通过分割掩码从图像数据中移除人手及外骨骼像素，随后采用基于光流的修复方法 ProPainter 完整填充缺失区域（图 4c）。
生成对应灵巧手视频
为将灵巧手精准嵌入视频，团队在灵巧手上重放记录的关节动作，录制仅包含灵巧手的独立视频（图 4d）。该步骤不涉及机械臂运动。再次使用 SAM2 提取灵巧手像素（图 4e）并剔除背景。需说明的是，虽可训练图像生成模型基于动作输出灵巧手图像，但该方法需额外模型训练。
机器人示教视频合成
最后一步将纯背景修复视频与纯灵巧手视频进行融合。保持正确的遮挡关系至关重要：灵巧手并非始终处于最上层。团队开发了遮挡感知合成方法来解决这一问题。
验证 DexUMI 的有效性
团队在两款不同灵巧手上对 DexUMI 进行测试。
Inspire 手（IHand）：采用 12 自由度（6 主动自由度）欠驱动设计。拇指配置 2 个主动自由度与 2 个被动自由度，其余四指各具 1 个主动自由度及 1 个被动自由度。
星动纪元 XHAND 1：采用全驱动设计，具备 12 个主动自由度。大拇指配置三个自由度，食指含三个自由度，其余三指各配备两个自由度。
然后在四项现实任务中评估 DexUMI 系统：
立方体任务 [ IHand ] ：从桌面拾取 2.5 厘米宽立方体放入杯中，用于检验系统基础操作精度；
蛋盒开启 [ IHand ] ：多指协同开启蛋盒——需用食指、中指、无名指及小指按压盒盖，同时拇指抬起前扣，测试复杂手型控制能力；
茶艺操作 [ IHand & XHand ] ：从桌面夹取镊子，将茶叶从茶壶转移至茶杯。核心挑战在于通过多指接触稳定操控可变形工具；
厨房任务 [ XHand ] ：包含四个连续步骤：关闭灶台旋钮→将煎锅从灶台移至台面→从容器取盐→撒盐至锅中食物。测试系统在长时序任务中结合精确动作、触觉感知及非指尖操作的综合能力。
每个测试回合开始时，任务物体均在桌面上随机初始化摆放。每项任务进行 20 次评估回合，所有对比方法均采用完全一致的初始物体配置。
针对长时序任务，表 1 中按阶段统计累积成功率。
通过硬件与软件的双重适配，DexUMI 能够采集多种任务数据并实现向机器人的技能迁移。真实环境综合实验表明，DexUMI 在两种灵巧手（6 自由度 Inspire 手和 12 自由度 XHAND 1 ) 上均表现优异：
相比遥操作数据采集效率提升 3.2 倍，在包含需多指协同的长时序复杂任务等四项任务中平均成功率达 86%。
总结与展望
本文提出DexUMI——一种可扩展的高效数据采集与策略学习框架，该系统以人手为交互接口，在提供自然触觉反馈的同时，将人手运动精准转化为灵巧手动作。
通过大量复杂现实任务实验，验证了 DexUMI 能够学习适用于精密操作、多接触交互及长时序任务的灵巧操控策略。
本研究为超越传统遥操作模式、实现大规模灵巧手现实数据高效采集建立了新范式。
在 DexUMI 的测试中，星动纪元自研五指灵巧手星动 XHAND 1 相比因时五指灵巧手 Inspire Hand 表现更加卓越，凭借其独特的关节全直驱技术，显著提升了数据采集的精度和可靠性。
此外，星动 XHAND 1 单独完成了厨房长序列任务，该任务包括四个连续步骤：关闭 stove 旋钮、将锅从炉顶移到柜台、从容器中拿起盐、最后将其撒在锅中的食物上。该任务测试了 DexUMI 在具有精确动作、触觉传感和需要使用拇指和食指的侧面（而非指尖）的长周期任务上的能力。
在这个社区中，众多的数据采集者、研究机构、企业以及其他相关从业者都可以积极参与其中，共同贡献和使用高质量数据集。对于后续的使用者可以直接从共享社区中获取到高质量的数据集。
这些数据集涵盖了多种类型和领域，能够满足不同用户在数据研究、模型训练、产品研发等方面的多样化需求。这种数据共享模式将降低数据采集的成本，避免了重复采集和资源浪费，还将大大提高了数据采集的效率，加速 Scaling law 中真实数据的比例，从而加速灵巧操作在实际应用场景的落地，推动扩大整体市场规模。
论文链接： https://arxiv.org/pdf/2505.21864v2
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
点亮星标
科技前沿进展每日见
