原文链接：http://www.labren.org/mm/news/?-icra-2026-???????-???????/
语言引导的抓取能力是实现直观的人机交互的关键能力之一。机器人不仅应该能够识别物体，还应该能够理解诸如 " 拿起碗后面的蓝色杯子 " 这样的自然语言指令。虽然最近的一些多模态模型取得了令人满意的效果，但大多数现有方法仍然依赖于多个阶段的处理流程，这些流程将感知与抓取预测紧密地结合在一起。然而，这些方法往往忽略了几何形态、语言信息以及视觉推理之间的紧密整合，因此在环境杂乱、遮挡严重或纹理低下的情况下，这些方法的性能会大打折扣。这促使我们努力弥合语义语言理解与精确几何抓取执行之间的差距。
一种新的统一框架，用于几何感知且语言引导的抓取操作，包括以下功能：
统一的 RGB-D 多模态表示：
我们将 RGB 颜色、深度以及语言特征嵌入到一个共享的表示空间中，从而实现跨模态的语义一致性，进而实现精确的目标识别。
深度引导几何模块（DGGM）：
我们并没有将深度信息视为辅助输入，而是将基于深度信息推导出的几何先验信息直接融入注意力机制中。这样能够在遮挡或视觉环境不明确的情况下，更好地实现物体的识别与区分。
Adaptive Dense Channel Integration ( ADCI ) :
一种动态的多层融合策略，能够结合全局语义线索与精细的几何细节，从而实现对物体抓取的稳健预测。
在杂乱且遮挡严重的场景中也能表现出极强的鲁棒性。
已在真实的机器人硬件上成功进行测试验证，证明从模拟环境到真实环境的转换是可靠的。
关键点总结：
这项研究表明，将几何推理与多模态语言理解紧密结合起来，可以显著提高机器人抓取系统的可靠性。通过将具有深度感知的几何先验信息直接融入注意力机制中，我们能够减少歧义，并提高抓取决策的一致性。
GeoLanG 提供了一种途径，使得机器人系统能够更加智能化。这些机器人不仅能判断需要抓取什么物体，还能在复杂的现实环境中稳健地抓取物体。
我们正在探索将这种几何感知的多模态推理技术扩展到：
Real-time interactive grasping
Multi-step manipulation tasks
Integration with motion planning and autonomous robotic control
雷峰网
