文 | 硅谷101
你敢让机器人给你按摩吗？在今年的WAIC上，我们体验了一把之后，发现居然还挺舒服的。而这台按摩的机器人，很大的不同在于，它搭载了触觉传感器。
黄仁勋说，"触觉"是具身智能的最后一块拼图，真是如此吗？机器人有了触觉后，真的能更强大吗？干活会更聪明吗？如果答案是肯定的，那么为什么目前大多数机器人都还没有触觉？市场上有哪些路线与冲突呢？
这期视频，跟我们一起走进实验室，去看看触觉传感器的前线研究。也来聊聊，如今机器人的触觉，发展到什么程度了。
在一堆花生中，有几个是假的，如果只能看，不能摸，人是非常难分辨出来的。而搭载了触觉传感器的机器手，却能将假花生都挑出来。
只要能上手摸，人也能很快分辨出来。因为假花生是石头做的，表面更冰凉、更光滑，重量更重，还是实心的，摇起来没有真花生中果粒的振动感。
这就是触觉的重要性，因为现实中有很多任务，无法单纯的通过视觉来完成。
李智强Eric
一目科技创始人兼CEO
行业里做过一些实验，比如把正常人的手打一些麻药，让触觉感知神经短暂麻醉后，人手对于一些操作就会失灵，包括拧东西、抓握甚至系扣子等。
于弢
亚德诺半导体（美国）人工智能总监/灵巧AI负责人
只用视觉时，机器人可以放慢速度，每次微调1毫米，不断尝试后总能完成任务。所以如果只看成功率，这其实是个伪命题。在这种情况下，力非常重要。例如，握东西要多紧、两个物体是否咬合，拧螺丝时不能等到螺丝拧花才意识到力过大。做柔性操作时，每根线的软硬度和材质也都很重要。
其中，力的感知还分为静态力和动态力。静态力，是抓握物品时，手指持续施加的压力，它告诉你：捏得够紧吗？物体有多硬？动态力，是物体滑动时产生的高频信号，它告诉你：是不是要掉了？摩擦力够不够？
目前市面上的方案主要有五种：压阻式、压电式、电容式、光学式和磁感应。
第一种是压阻式，这是最传统、最成熟的一条路线，材料受力后发生形变，电阻值发生变化，通过测量电阻变化来反推压力，常用的电子秤就是这个原理。
它最大的优势是成熟、便宜、技术门槛低，但是它只能测垂直方向上的力，而且会随着温度、湿度产生漂移。
它最大的特点是，只对变化的力敏感，就是你按下去的一瞬间，它会产生一个电压信号，但如果你一直按着不动，信号会慢慢衰减到零，松开的时候，又会产生一个反向的电压信号。所以压电式非常适合检测振动、冲击这类高频动态信号，却难以测量静态力。
电容式的原理就是平行板电容器，当材料受力时，弹性材料会形变 ，比如按下去的时候，上下两层更近了，电容变大，此时就能测量垂直方向的力；或者滑动的时候，板面积变化，电容也变化，能感受到平面上的力。它的优点是灵敏度极高、响应速度快，而且成本相对较低，但问题在于动态范围有限，同时容易受到电磁干扰。
▍多传感器结合
我们除了手指外，其他每一寸肌肤，都是有感知的，如果机器人想做到人类的水平，是不是也需要全身布满触觉呢？
但如果全身都用最好的技术，那成本就很难控制了，而且不同部位的要求不一样，同一种技术路径也难以适用全身。比如指尖的精度要求非常高，使用光学式的方案就能达到更高分辨率，但如果是手掌、手臂等其他部位，精度要求没那么高时，用昂贵的光学式就不划算了。
在一些比较简单的应用场景下，也可以选择精度不那么高的路径。比如我们在WAIC展会上，就看到一些采用电容式的触觉传感器，已经被批量用于工厂的产品分拣与检测，原因就在于成本相对较低，与精度最高的光学式相比，采购价只有四分之一到二分之一。
而且，即使是同一个部位，未来也有机会融合多种技术，但前提是技术足够成熟。
电容式灵敏度很高，但问题在于，材料被压紧后，对力的感知范围会非常有限。但是压阻是一种，必须硬碰硬的一种技术。因此，两种技术结合是一个可行的方案，但制造工艺、良率和量产能力能否跟上需求，仍是问题。现阶段，大家还在尽力完善单一技术路线的缺陷。
除了力的感知，广义的触觉还包括振动、材质感知等等，这就得依靠其他传感器来补足。比如人类想分辨丝绸和棉布时，会通过触摸加滑动的方式来产生振动，来感知材质的细粒度，到了机器人身上该怎么做呢？
我们会加入加速度计或麦克风这种传感器，能够更有效地捕捉到高频振动产生的信号。
所以完整的触觉方案，不是只选一种技术路线就完事了。
目前行业里最前沿、精度最高的，就是光学式，我们的访谈嘉宾Eric所创办的公司一目科技，也是选择了这个方向，接下来，我们就走进他的实验室，探究下光学式的原理。
其中最具代表性的探索之一，是来自MIT教授Edward Adelson领导的团队，他们在2009年提出了GelSight，让机器人第一次拥有了类似"视觉"的触觉能力。
人的一个指尖大约1平方厘米，上面布了3000个触觉的感知点。每一个点下面有四个不同的nerve（神经元），就相当于12000个不同的神经元在去做感知。而我们的传感器现在可以做到24万个点，已经超过人了。
但是呢，代价也不小，接下来我们从材料、结构、算法、成本四个方面详细说说。
▍材料
首先是材料，有三大要求：
第一是特别软，业内称为"杨氏模量"低，这样才能通过细致的形变，精确反映物体硬度和力度；
第二得耐磨，不然日常执行任务久了，就会出现性能漂移或者破损；
第三要尽量薄，才能尽可能缩小整个传感器尺寸，扩大应用场景。
而这三点却天然对立，无法同时满足。
接下来，我们到材料实验室看看新材料的研发过程。
材料工程师
一目科技
这里是我们做配方研究的实验台，大部分原材料都是液态的，种类很多。我们把不同原材料混合，使成型后的材料达到目标性能。
硅谷101联合创始人
这个事情的难点在于什么？是不同配方的比例吗？
不仅仅是配方，我们从底层化学基底、单体到配方都需要研究。
Eric告诉我们，现在行业出现一种很有意思的材料，叫"可恢复性材料"，就像人一样，就算不小心划破了，过段时间就能自愈。
材料的恢复性一般来自一些特殊官能团。有些分子键断裂后还能恢复，我们在设计配方时要保留这种特殊的官能团。这是我们研发的一种新材料，触感与人的皮肤很接近，而且非常柔软，像婴儿的皮肤，不会造成伤害。
▍结构
而在结构方面，手指肯定是越小越灵活，这就要求触觉传感器也尽可能做得小。
测试工程师
我们的产品体积是最小的，厚度和SIM卡的大小基本一致，大概不到16毫米。
光触觉它背后是需要有感光的芯片或者摄像头，但是为了把整个视场都能看到，相当于微距摄影，它需要有一定距离，这个距离就是它的最底层的物理的制约因素。
要做得小，一方面就是前面提到的材料要尽可能薄，另一方面得从摄像头上下功夫，尽可能降低摄像头的对焦距离，同时还要扩大视场角（FOV），来覆盖更多感应区域。
我们通过自研的一些超表面和芯片的技术，能够压缩它的视距，不再用一些传统的lens（透镜）的方式去做。
在结构上，照明层的光路设计也是一大难点。因为手指的形态不是完全平面的结构，左右两边有些弯曲的弧度，这就需要精细设置照明灯珠的排布，保证不同位置照明的一致性。
照射的光路有很多讲究，我们要做大量的仿真，也叫光追踪，去观察每一个光子的传播路径。在设计时就要考虑，既要覆盖广，达到270度，又要保证精度和轨迹可预测，否则光和光之间会互相打架，产生串扰。
这是一台BSDF测试装置，用于我们不同产品的，表面材料的光学特性的测量，可以将测得的光学特性输入到仿真模拟中，使我们的仿真更加的准确。之前如果买一套这种专业的一点设备要百万级，而这个是我们自己搭的，而且精度各方面挺好的。
另外，照明的灯珠，在市场上有两种方案，一种是单色，另一种是多色，之所以这么做的原因，就要说到第三点：算法。
▍算法
光学式具体是怎么识别触觉的呢？主要有三种方式。
第一种是标记点法。在皮肤层上，会印很多微小的标记点，摄像头跟踪这些点的位移变化，来计算皮肤层的形变。优点是算法简单、制造容易，但缺点是精度上限很低。
第二种是纹理分析法。皮肤表面不再需要规则的点阵，而是随机喷涂的细小颗粒，或者利用材料本身自带的不规则纹理。受力时，摄像头通过追踪光影纹理的流动来计算形变。它的优点在于硬件制造简单，因为不需要做标记点了。
前面两种算法主要关心的是亮度、对比度这些信息，所以用单色照明方案就够了，而第三种光度立体法，就必须用多色光了。
第三种方案兼顾了前两者的优缺点，是比较好的折中方案。制造方面也没有那么复杂，但是它在解算的时候，通过预训练的一些模型，就可以快速地去做分析，所以它算力要求比第一种大，比第二种小，精度也是比较优的。
▍成本
光学式的第四个挑战，就在于成本。通过前面的解析，相信大家也能看出来它的结构有多复杂，相应地成本也更高。
一目科技联合创始人兼执行副总裁
目前单指的单价还是千元级的，可能会比别的技术路线稍微贵一些。随着量的上升，我们也看到了把整个的成本降到小几百的可能性。
而且不光是制造本身，后续的算法、算力要求也更高。
视触觉现在之所以比较流行，是因为大家发现，可以比较好地用视觉的模型直接处理。但它的问题是，这个视觉的模型一般都会比较大，所以对于算力的要求更高。
当然，高成本也对应着高上限，在实验室里，我们也看到了直观的对比。
一个没有触觉的灵巧手，在没有视觉的辅助下，夹起薯片时，因为掌握不好力度，很容易就夹飞了。而带有视触觉的夹爪，不仅可以轻轻夹起薯片，当从它手中抽离时，它还会感知到轻微的晃动和摩擦，慢慢卸力。
现在触觉可用的数据基本为0。
高保真的传感器之前是缺失的，我们通过传统的一些方法，采集来的数据跟人不太接近，且没有那么高保真的能力。
对于"触觉"这种强调实感的维度，普通的视频、文字等互联网数据，无法反映出"力"的大小和方向的，所以这个领域尤其强调真机数据。
但真机数据在获取上，存在着三大难点。
▍真机采集三大难题
我们再来做个简单的小实验哈，我们戴上这个很厚的手套，然后试图拿起一块豆腐，真的很难掌控力度，要么就是它会滑下去，要么可能稍微一用力，它就破了。
采集人的触觉，也就意味着需要在人手和物体之间做一个隔离，那在某种程度上我们屏蔽了人自己的触觉。如果人手被传感器覆盖，导致人本身的触觉没有办法被有效的利用，操作者的手变笨了，demonstration（示范）质量会下降，训练出来的数据结果，就没有办法让机器人能具有像人一样的灵巧的能力。
我们看到一目科技的数采设备，把整个传感器放到了手指前面，操作起来就像用筷子一样。
所以最大的问题就是：要采集触觉，就得先屏蔽触觉，但是屏蔽触觉后，又难以采集触觉。而且采集设备本身也比较复杂，一定程度上，也会影响采集员的操作。
其实大多数的数采设备都非常的笨重，尺寸大、穿戴比较麻烦，都会在某种程度上影响操作员采集数据本身的一些行为。
要解决这个问题，一方面需要行业做出更薄的传感器，尽可能减少对采集员触觉的屏蔽。
我们下一代的触觉传感器是超薄型的，只有3毫米，不需要戴一个非常复杂的手套，只在某些关键的地方贴一些触觉点。
另一方面，行业需要设计出更舒适、更符合人体工学的采集设备，而这需要的多学科领域交叉。
人体工学设计与设计一个触觉传感器、灵巧手是完全不相干的东西，这是我觉得接下来一年非常重要的一个课题。
行业里也有一些对采集员影响较小的织物采集手套，但这就牵扯到第二个问题：数据密度不够。
于弢团队和MIT去年合作了一个项目，用这类手套采集触觉数据。结果发现，大部分有效数据都是，用整个手掌抓取一个较大的东西，因为这种任务对密度的要求最低，一旦涉及到精细操作，数据就失效了。
行业面临的第三个问题是，由于触觉还是非常早期的行业，各家公司的数据采集格式不统一，难以形成大规模训练集。比如有的采集设备是两指的，就只适合用在工业场景的机器夹爪上，不适用于灵巧手的训练。
目前在数据的存储和对齐方面，我觉得做的不够好。它们之间的一致性好不好？触觉和其他模态的对齐好不好？比如同时采了触觉、视觉、本体信息，那这些模态是不是能从时间轴，到数据本身的对齐的能力做得更好？这块也是缺失的，或者做得不够好。
硬件现在是相对不成熟的，不同的技术、传感的方式、数采设备、数据的格式、数据的形态都不一样，算法没有办法演进，因为数据的量上不去。
设备不够成熟，就采不到高质量数据，然后训练不出好模型，就没人愿意投资这个领域，这将是一个恶性循环。
既然真机采集这么难，那如何才能规模化呢？这就得用到仿真合成了。
▍仿真合成的原理与局限
仿真是在虚拟的环境中，模拟真实场景，可以同时、批量采集不同的数据。到了这一步，就不得不说到大家比较熟悉的英伟达了，这条是老黄重点押注的路线，他们为此也搭建了非常完善的框架Isaac Lab。
有了这些数据后，就可以在系统内模拟触觉传感器接触到不同物体时表面的形变程度、光路变化，推算出最终采集到的数据。仿真的结果，还会和现实表现做对比，通过数据标定来进一步修正。
图中展示了某一确定条件下的实际图像采集结果，蓝色的点代表仿真的形变，红色的点代表标定。我们展示的这部分修正是在解算层面，最后做一个映射的矩阵去修正输出，后续也会在模型输入的层面去做修正。
AI工程师
如果用有限元的方法精细计算弹性体的变形，一帧可能就需要一个小时，这对于需要快速实时的获取数据而言，是不能接受的。
所谓软接触，就是把物体和皮肤都当作刚体处理，但它们之间可以"互相穿透"，接触的力越大，穿透的越多，这样算出来的形变虽然不是最精确的，但也能大致模拟，而且在计算速度上更快。
针对柔性物体，我们也可以去补充一些后训练数据，比如我们已经有一个80分的模型了，我再加一点点后训练，很快就可以到90分以上。
所以仿真意义，更多是作为真机数据的补充，两者需要搭配训练。
真实的数据多一点，还是仿真的数据多一点，每家可能不太一样，我们的判断可能至少1:1，甚至1:1以上，在短期之内仿真可能会占多数。
那到底需要多少数据，才能训练出较好的模型呢？在这点上，业内人士给出的答案比我们想得更乐观点。
▍数据量要多少
柯丽一鸣
Physical Intelligence研究员
什么时候我们收集到100万小时，等同于一个人一生的物理经验的数据，我觉得我们才开始后面的探索。
训练一个带有触觉的基础模型，所需要的数据，应该是要远低于基于视觉的基础模型。
当你有超过10万小时的数据，你会发现它逐渐就开始有一定的泛化能力。
这背后的原因其实不难理解。因为机器人的行为模型，其实包含了大量操作的"过程"信息，比如转身、伸手、移动等，并不是说这些信息不重要，但真正对训练有效的部分，往往是那些"拿起"、"放下"等等关键的操作。
而对触觉数据来说，平时在没有操作时，输入的信息基本为零，相当于这10万小时已经减掉了无效操作的部分。
▍应用挑战
今年6月，伯克利、英伟达、斯坦福集结了李飞飞、Jim Fan等众多知名学者，联合发布了一篇名为《T-Rex》的论文，其中一项实验结果表明：如果把触觉信号，直接输入到π0.5的模型中，各项任务的成功率反而下降了。
我觉得最大挑战是，大家对于触觉这个模态还是比较陌生，以及它真的怎么融入到我们模型训练里边，大家还没有一个完整跑通cycle（闭环）的SOTA（最先进的）模型出来。
我们先来简单说说，此前触觉应用的三大挑战。
第一个问题是，触觉没法用规则定义。一个东西到底是软还是硬、是脆还是弹，超过多大的力会破坏物品、物品能不能被破坏，我们没法单纯地设置一个数值、写一个规则，这样在执行任务时，模型会难以判断。
比如，拿起纸杯这件事，力气小点能拿起，稍微再夹紧点、杯子有点形变，也可以接受，但到了鸡蛋上，就绝不能让蛋壳有形变。
第二个问题是，触觉信号维度太多，直接输入到模型中反而成为了噪声。我们前面说过，触觉包含了纵向的压力、横向剪切力和摩擦力、还有表面材质感知的温度、振动、音频等等数据，这些数据不加处理地输入到大脑中，模型将难以分解。
到了今年，由于AI的进步，业界看到了触觉应用的范式。
▍模型算法
之所以触觉最近两年开始火，并不是因为触觉这个技术本身这两年才存在，而是在很久以来大家并不知道怎么样去用触觉。像最近的这些AI算法的演化和端到端模型的实现，对于触觉的利用是非常大的促进。
端到端就是直接把信号输入给神经网络，让模型自己学习，不需要人为定义规则，这就解决了第一个挑战。
第二个挑战的解决思路，就是利用编码器（Encoder），前置处理触觉信号，将这些数据打包后输出完整的语义理解。
用self-supervised learning（自监督学习）的方式，去训练编码器，可以很容易的把不同类型的触觉的模态，甚至视觉结合在一起。然后利用现有的一些，比较常见的注意力机制，就可以比较好地去抓取，不同模态的触觉之间的相互的关系。从模型训练的角度，这能比较有效地把这样的信息，集成到更大的一个backbone（主干网络）里面。
我们叫tactile Transformer encoder（触觉Transformer编码器），通过编码器对它进行一个语义理解，比如说"到底是软的硬的？有没有摩擦？形态上像什么？"等等。做完编码之后，再进到backbone（主干网络）的大模型里面去做判断。
再来说说如何解决频率不匹配的问题，在《T-Rex》论文中，就提出了MoT的方式。这个MoT架构，借鉴了MoE的思想，由不同专家处理不同类型的信息，为此构建3个不同的专家（Expert）。
Action Expert（动作专家），负责根据视觉语言上下文生成动作序列，比如往哪里走、手臂大概怎么摆等，但它输出的只是粗略的动作，最具创新的是第三个专家。
Tactile Expert（触觉专家），它就像机器人的反射系统，在动作执行过程中，通过实时触觉反馈，对力度、角度和接触状态进行快速修正。
听上去好像也不算什么创新，毕竟MoE架构早就有了，只是额外设置了个触觉专家而已。但这套系统最重要的思想，在于"异步执行"。意思是在推理时，动作专家生成动作规划，同时触觉专家以更高的频率独立运行，不断对动作进行修正。
这样机器人在利用触觉时，可以复用已经算好的上下文缓存，只进行快速的触觉推理，这样既保留了大模型的理解能力，又获得了类似人类触觉反射的快速响应能力。
我们觉得它应该是两个可以打通的不同的系统，就比如触觉在边缘端，应该有一个快速响应机制，例如接触之后就应该立刻做出动作。同时我觉得触觉信息也应该能回到大脑去，对相对长程的过程里，做一定决策的影响，但是它就偏reasoning（推理）。
我们在访谈过程中，也发现了业界的一点分歧，那就是触觉模型，是单独训练，还是要结合摄像头、激光雷达等其他传感器来一起训练呢？
Eric认为，触觉模型可以单独训练，这样才能更好地平衡权重，就像《T-Rex》这篇论文的思路。
我们会更倾向于触觉模态的单独训练。因为触觉模态本身的语义理解，就可以完成一定的闭环，当它的语义理解结束之后，再和其他的模态进行融合，让大脑去判断会更好。因为它每一个模块可以去单独地去做训练、测试、闭环，同时这些模块可以即插即用地，插入不同的系统里面做应用。它还能跟其他模态更好对齐，不然眉毛胡子一把抓，都混在一起。模态之间的数据怎么去平衡，是个挺难的问题。
来自北美的于弢认为，两者必须要同时进行，这样才能判断每个"力"在空间中的分布，让模型更好的理解："我是拿了什么东西，才会有这样的感知"。
视觉是全局的，而触觉是非常局部的事情。我的手的形态动的时候，同一个传感器对应的在空间上的分布是不一样的，当大家做视觉和触觉的模态融合的时候，并不是一个简单的latent space representation（表征空间）。
当然你在同一个embodiment（载体），做同样一件事情的时候，是可以的，但一旦这样做完之后的transfer（迁移）非常难。比如像哥大李昀烛老师，是把这种触觉的力的分布，结合到三维点云上。也就是说这个力，并不只是一个力，而是它在这个空间中的力的分布。在这种情况下，是需要力的触觉和视觉的结合。
于弢的思路，也对应着我们前面提到的《Tabero》这篇论文。他认为触觉应该参与到高层决策中，理解"轻一点"和"重一点"的语义。
简单来说，《Tabero》主打前置的"语义力控"，而《T-Rex》是执行过程时的"高频修正"。由于触觉这个行业目前处于非常早期的阶段，多条路线同时探索，没有绝对的优劣之分，我们只是向大家展示不同路径。
在2026年维也纳举行的ICRA（国际机器人与自动化会议）上，我们亲手测试了很多公司的触觉传感器是否一致，大多数产品还做不到。
因为手指的调整动作都是非常微小的，在做精密操作时，输出的力稍微有点偏差，就可能导致任务失败。而触觉传感器又太精密了，但凡表面的弹性体厚度相差太大、弹性系数不一致、传感器间距不同，都会导致参数偏差，算法就难以计算出正确的数值。
接下来，我们就去一目科技的试产车间看看，他们是如何验证新工艺的。
第一步，是先把凝胶材料放到模具内固化，作为手指的表面弹性体，这一步得注意，不能有任何灰尘和气泡。
这一步需要在提供局部100级超洁净空间的超净工作台操作，会更有利于凝胶制备。
最后就是将其他地方制备的零部件，集中到一条产线上进行组装。
生产工程师
刚才看到的材料会在这里进行分布组装，从第一个粘接工位，到预总装工位，其中包括壳体、灯带、相机、芯片等各个零部件的精密组装。触觉传感器会在总装前的预检测工位，进行成像的检测。电脑里显示的画面，展示了触觉传感器的精密的动态，属于力学的反馈，同时其中包含了很多AI算法。
目前在试产阶段，很多步骤依然依赖手工操作，因为触觉传感器是一个比较新品类，现成的标准化自动化设备暂时还没统一。
触觉的量产不是脱离了上下游自己去生产，比如数采或是灵巧手的上下游，有不同的协议、不同的接口，对于手的适配要求也不同，所以量产还是要跟着需求，有一些定制化的操作。
一方面是自动化量产线稳定交付标准品，另一方面是试产线承接定制化需求和新工艺验证，两条线协同运转，正是这个行业走向成熟的标志。而到了2026这个时间点，我们访谈的几乎所有嘉宾都表示，触觉已经处于爆发前夜了。
我们看到今年整个需求有一个大幅度的上涨，大家慢慢认识到了，触觉的数据，对于物理AI训出更好的模型来说，是非常非常重要的。今年，灵巧手、上下游、包括具身的整机，都在去拼命的去做、拼命的出货，自然也会带动整个触觉传感行业更加成熟。
在今年的WAIC展会上，我们也在一目科技的展台，看到了某大型汽车电池装配工厂，将他们的触觉传感器搭载到了机械臂上，实现了工业级的应用。
不同的电池包的形态变化，如果依赖传统的自动化，纯去做每次的预编程和大量的开发，无法适应产线的频繁调度和变化的过程。所以基于触觉，就得到了一些柔性装配的能力。
未来，还将应用到实验室里，做更多精密操作的项目。
根据美国银行的预测，到2030年，人形机器人的出货量将达到120万台，假设都装配了触觉传感器，每个机器人10根手指，那么触觉的市场需求将提升到千万级别。
触觉的下一个里程碑节点，我觉得就今年或者明年年初。
人类的婴幼儿刚出生之后，第一个会的其实并不是看和听，小朋友都是靠触觉摸这个世界，甚至可能用舔、用舌头，这才是我们人类对于这个世界的第一语言。
确实，人类小孩刚出生时，他不会说话、不会走路、连看都看不太清楚，想感知世界，只能伸手去摸，摸妈妈的脸、摸床单的材质、摸脚趾头的形状。
而今天，我们正在教机器人做同样的事情，让它摸花生、摸树叶、摸鸡蛋等等，每摸一次，对物理世界的理解就多一点。
或许很多年后，机器人走进了我们的生活，那时我们回望，可能会发现，转折点就在触觉普及时，因为那一刻，机器人才开始真正的理解了世界。
