从禾赛科技到 Sharpa,从激光雷达到具身智能。禾赛科技的三人组正在从汽车走向具身智能领域。
如何理解禾赛,正如孙恺所言,
" 面向未来十年或者二十年,禾赛本质是这样一家公司,是面向一个新时代,在我们的能力范围内会有什么新的、对这个时代很重要的技术或产品,我们是可以做的,我们就会努力做好。而且只要是禾赛做的技术能过的产品,我们就会有把握把它做到世界最领先的程度,禾赛绝对不会做世界上不领先的产品。如果我们觉得我们没有能力去做一件事情的话,我们就不会去做。但凡禾赛想清楚要做的事情,大概率我们是抱着把它做到世界第一的水平而出发的。"
而随着毕加索、Kosmo 的发布,禾赛科技新的野心从理解 3D 世界开始。
01.
毕加索,远不止给点云 " 上色 " 这么简单
在 2025 年,禾赛科技激光雷达出货量超过 160 万颗(车载 + 机器人)。但即便如此,对激光雷达的质疑声仍不绝于耳。其中有两个非常重要的因素,一是因为激光雷达的售价问题,二是当前模型主导的算法架构天然兼容视觉,而非激光雷达,因此即使搭载激光雷达,智驾的效果也提升有限。
如今,激光雷达售价已经降至 2000 元人民币以内,并且还在继续下降,10 万级别的车型也可搭载禾赛提供的激光雷达,成本已经不再是难题。而要解决第二个问题,就需要重新思考激光雷达的技术方向,甚至是从全新的 3D 传感器方向上看待激光雷达,也就是孙恺口中的 " 用一种方式把真实的、带有色彩的世界用 3D 的方式记录下来 "。只有有了天然 3D 的数据,才能够有兼容 3D 的模型,以实现对当前以 2D 为数据模型的性能跨越。
其实业内一直在探索 3D 数据的采集,简单的理解就是给 " 点云上色 "。目前主要有两种方向,一是视觉和激光雷达的融合。即用一个 CMOS 相机和一个基于 SPAD 接收器的激光雷达相结合,做到让点云 " 上色 "。二是采用 SPAD-RGB 传感器,本身集成拜耳滤色片,在同一芯片上同时获取颜色,以及深度信息,实现真正的 3D 彩色成像。
融合方案发展应用较早,当然早期受制于技术,并未采用 SPAD 技术。早在 2017 年,禾赛科技就推出了 " 潘多拉 "(Pandora) ,这是一个典型的视觉和激光雷达的融合方式,顶部是一个 40 线的激光雷达,底部是 4 个摄像头。可以同时实现激光雷达 3D 空间数据和摄像头颜色信息的采集方式。近年来,华为 Limera、卓驭 JIMU 和速腾聚创 Active Camera 也是类似方案,不同的是融合度更高,华为甚至做到了光路融合。
但融合方案存在一个挑战,那就是如何做好时间对齐,提升数据质量。同时,融合方案需同时搭载 CMOS 和 SPAD,融合方案成本也较高。这也是为什么融合方案推出已久,但行业内应用却比较慢,算法方面也鲜有适配优化。
为了解决这些难题,禾赛科技推出了 " 毕加索 " 平台。
相比于此前激光雷达和视觉融合的方式," 毕加索 " 平台采用的是芯片级融合。就是将感知颜色信息和感知空间信息的功能集成在一颗芯片上,也就是说用激光雷达探测的像素,同时也可以拿来采集空间中的颜色信息,相比之下这是一个更加极致的方案。这也是为什么禾赛科技将其称之为 6D 激光雷达的原因,原有的 XYZ 加上色彩的 RGB,正好 6 个参数。
目前," 毕加索 " 平台已经流片成功,将在 ETX 激光雷达产品上实现应用。ETX 最远测距可以达到 600 米,最高支持 4320 线,可以识别 150 米以外的 15cm 高小木块,而且它具有 " 全彩 " 的功能。
在性能参数上," 毕加索 " 单芯片就可以支持 2160 线的输出,单光子的探测效率 PDE 超过了 40%。除此之外,还有一些隐藏功能和指标,这颗芯片会继承我们原来的一些光子隔离技术,以及编码防误触发的技术,并且还会在里面内嵌 IPE 的引擎,消除噪点。
目前 SPAD-RGB 技术还处于初步应用阶段,主要应用场景在高端相机领域(提升暗光表现,而非深度信息),在车载领域还未应用。究其原因是卡在了 SPAD 能力上。
禾赛科技在 2018 年便开始自研 SPAD 技术,在过去的几年中,取得了重要的进步。2023 便在 AT128 中应用了自研的 SPAD 技术。孙恺承认,目前与业内顶尖的 SPAD 技术(索尼索尼 IMX479)虽然依然存在差距,但这个差距正在不断被缩小。从 PDE 指标来看,索尼可以达到 45%,禾赛科技同样可以达到 40% 以上。孙恺高兴的提到," 曾经我们眼中的 " 巨人 ",已经离我们不那么遥远了 "。
对于未来,孙恺认为 "" 毕加索 " 平台最重要的事情是,能够用这样一种芯片架构,随着它未来几年的逐渐迭代,它可以做到超越现有的摄像头的成像水平的,而且它同时可以做这样的 3D 的,而不仅仅是 RGB 的采集,这件事百分之百会发生,因为今天禾赛主要的技术已经得到了论证,接下来都是一些新的工程化的工作。"
02.
Kosmo,3D 时代的 "Pocket"
上文提到,如今模型天然兼容视觉,这是因为在数字世界,2D 的数据极其丰富,非常易于获取。如果要实现跨跃 2D 的 3D 体验,同样的数据也需要天然支持 3D,而非从 2D 数据中转换而来。
这就需要一个支持 3D 数据采集的设备,也就是禾赛科技 Kosmo 价值所在。
禾赛科技在 Kosmo 中集成了激光雷达、视觉两种传感器,通过激光雷达的结构感知优势加上视觉丰富的纹理和颜色感知能力,再加上禾赛科技自己集成的空间感知算法和 AIGC 算法。即可以用一个酒瓶大小的设备实现 3D 的数据收集,将 3D 物理世界无损变成数字世界。
除此之外,Kosmo 的独特之处还在于它的灵巧,方便携带,极有可能成为 3D 时代的 "Pocket"。
向少卿提到," 禾赛科技的目标是把真实世界的数据从原来的 " 奢侈品 ",变成可以大规模获取的 " 标准资源 "。"
有了 3D 数据之后,当前的诸多应用就会变得简单。
首先数据天然支持 3D,因此数据编辑也更加简单和真实。而数据编辑简单之后,意味着和数据交互也会更加便捷,也会更加容易将物理世界的特性引入到数据中去,尤其是力学性能。当然拥有了这些数据之后,也就更能反映真实世界中的物理场景。
有了这些之后,当前具身智能领域所面临的数据难题也会迎刃而解。当前具身智能训练所面临的最大挑战在于仿真训练数据和真实场景数据不一致,因此就会出现合成数据和真实数据路线之争。而一旦了 3D 数据之后,具身智能在 3D 数据搭建的 " 仿真器 " 中可以直接实现和真实场景效果相同的训练效果,后续部署的成本就会大幅降低,更快推动机器人的落地应用。
总结
禾赛科技所做的事情正在打开 3D 数字世界的全新入口。诚然目前去预判应用潜力有多大还为时尚早,但不可否认,这是一个全新的时代,也是一个极有可能颠覆现有框架的时代。