关于ZAKER 一起剪 合作 加入
极客公园 2021-11-30

做一款「读」懂世界的 AR 眼镜

作者 | biu

编辑 | 北方

新冠疫情下,人们没法摘下他们脸上的口罩。唇语,就这样在公共场合消失了。

听障者在和人谈话时,会紧盯对方嘴唇,这是他们在使用助听器或人工耳蜗后下意识的动作。很少人知道,即便用上这些助听辅具后,他们也不能与普通人一样,听到完整、自然的声音。在嘈杂的真实环境中,辅具帮不到的,听障者需要通过唇语补充理解。

助听器的使用体验像在收听一个调音不好的无线电,声音可能足够大,但字听不清楚。而人工耳蜗方案费用不菲,设备植入、术后调机和言语训练等部分需要花 10 万 到 30 万元。「那些从小植入人工耳蜗的用户告诉我们,大概也就能听到 60%,剩下要靠唇语去猜。」亮亮视野的设计总监刘天一说道。

亮亮视野是一家成立快 8 年的 AR 公司。在大量调研听障者后,公司决定将团队去年底发布的一款面向企业端的 AR 眼镜进行改款,专门服务听障群体,成为一款能将声音实时转译为文字的「字幕眼镜」。

就像是只会播放一次的英语听力

人的耳蜗内分布着众多的毛细胞,它们负责声音的传递。但毛细胞非常脆弱,很容易被耳毒性药物、噪音和衰老等因素损伤,当毛细胞越来越少,听力也就越来越差。更不幸的是,人类并无自我再生毛细胞的能力,也就是说,听力一旦受损,几乎就是不可逆的。于是,人们开始应用辅具。

助听器像是给声音加上「放大镜」,而人工耳蜗则是直接替代毛细胞,向位于耳蜗内、功能尚完好的听神经施加脉冲电刺激——通过用户体外的言语处理器收集声音,体内的处理器进行编码处理,转化为电信号,再通过电极刺激听神经,继续后续的声音处理。

顾名思义,耳蜗的形状如同蜗牛,上面是低频,下面是高频,如同一个钢琴键盘展开,「正常人有 3 千个『琴键』,而人工耳蜗只有 24 个(目前全球人工耳蜗中电极数最多的有 24 个),所以人工耳蜗『弹』出来的声音和正常耳朵听到的声音有很大的区别。」人工耳蜗公司诺尔康总经理李楚曾在接受采访时说过。

佩戴了人工耳蜗产品的听障儿童|视觉中国

第二次全国残疾人抽样调查显示,全国听力残疾率为 2.11%,听力残疾人 2780 万。另据 WTO 统计,国内竟然有高达 15% 的人群或多或少的有听力受损问题,这 2 亿人中只有 5% 的人群会佩戴助听器。

而人工耳蜗方案费用不菲,设备植入、术后调机和言语训练等部分需要花 10 万 到 30 万元——能够负担的人群更少。

从植入人工耳蜗,到能正常与人交流,需要适应期。经过解码、又重新编制的电信号并不等同于自然声音。初期启动时,人会感到眩晕。不仅如此,听障者需要持续注意对方的口型,精神需高度集中,并会因此一直处于焦虑的状态,就像在听只会播放一次的英语听力。在工作环境中,如果不是面对面沟通,看不见对方的口型,则情况更为棘手。

由此带来的交流成本很高,一些听障者为了避免与人沟通时的尴尬,常常逐渐将自己孤立起来,性格可能变得孤僻或抑郁。如果在年幼时没能系统地建立好语言体系,封闭自我的听障者可能因此变成语言上的「难民」。

他们「亏本在卖」这款改款眼镜

这是一副看起来稍显「笨重」的眼镜,镜片透明,为光波导镜片;镜腿宽,侧视会遮挡视野,拖着一根电线。这根线需要连接到手机,手机提供电池供应,还要下载配备的「可译」app。这款眼镜重 90 克,相当于两枚鸡蛋。

亮亮视野在去年年底发布了 AR 眼镜 Leion Pro,采用双目光波导方案,透光率达到 85%,最高亮度可达 4000 尼特。另外,它还实现了语音、手势乃至头动等三维交互方式,满足安防、工业维修、设备巡检等不同领域需要。

比如,使用者可以通过佩戴眼镜,将自己的第一视角影像实时传输到异地的专家,用以指导自己的工作;运用图像识别等技术,警察可以通过眼镜了解到对方的身份。

推送培训视频、图文资料和工单;与工作伙伴进行远程视频连线……这些都是纯粹的面向 B 端用户的应用。但在线下大会、商业谈判和培训等(需要中外语言互翻)场景里,有听障用户注意到了这款产品,并产生了浓厚的兴趣。刘天一回忆,一些听障者试戴后,「一戴上就不想摘下来」。

偶然发现听障者的需求后,刘天一开始验证市场。他和团队通过北京市聋协和一些地方残联,派发了几千份线上问卷,也进行了线下调研和探访,收集听障者的年龄、学历、听力受损程度、辅具使用习惯,以及听障者希望 AR 眼镜怎么满足他们的需求。

调研完的结果让人「兴奋」,「在做面向 C 端的调研中,一般来说几千份问卷发出去,能有几十份回收就非常不错了;但这一次,百分之七八十的听障朋友都在问卷最后填下了建议:我需要用这种眼镜做这些事:……」刘天一说。

亮亮视野面向听力障碍人群的 AR 眼镜产品设计图|亮亮视野

这款眼镜最核心的功能是实时的文字显示——要让文字显示能跟上说话者的速度,亮亮视野将引擎所提供的云原生 AI 语音识别、机器翻译服务整合进了这款 AR 眼镜,能进行智能分句,只会有半句话左右的延迟。

「AR,Augmented Reality,但现在市面上的不少产品都只注重 Augmented(增强),而相对忽略 Reality(现实)。」刘天一说。亮亮视野优先保证镜片的透光率达到 85%,作为对比,功能更丰富的微软 HoloLens 2 透光率只有 40%。「戴上之后,你感觉完全是透过一块玻璃去看外界。」这更利于听障用户观察周边环境和说话者。

考虑到用户有可能近视,亮亮视野在眼镜配套中预配了 200 至 600 度区间的镜片,用户也可以用框架自己到眼镜店选配合适的度数。

为了更好地服务听障用户,亮亮视野砍掉了 Leion Pro 上那些功耗较高的功能。工业用 AR 眼镜比较注重视觉感知的能力,以及相应的 AI 计算能力——都是些耗电的功能。听障用户更需要的是语音转文本,只需让眼镜的算力更多应用在语音识别上,做好实时听写、转译即可。

相比只戴助听设备,使用这款眼镜的听障用户接收信息的效率能提升 50% 以上——这是亮亮视野联合清华大学的学术团队,进行听力语言测试后得到的对比数据。尽管听译 app 使用成本更低,但很多时候,面对面交流的场景并不适用——人很难同时兼顾观看手机的翻译转写界面并同时与人聊天。团队表示,「我们希望用户能把头抬起来,能更自然的畅快沟通。」有位用户在试用中表示,「第一次可以放松下来和大家聊天了」,聊着聊着她红了眼眶。

目前,这款 AR 助听眼镜的售价是 12000 元。但亮亮视野选择「亏本」,用户可以拿着国家认证的听力障碍残疾证明拿到 3999 元的入手价。

李然说到,原计划这款眼镜是作为研究和深入调研下一代听障眼镜的研发方向,但是在过程中,对于那些有迫切需求的听障伙伴,比如面试、就医、办事、语训等需求很迫切,而眼镜能带来不少帮助。即使目前来看这款眼镜只能连接安卓设备,iPhone 因为接口标准暂无法支持。但李然也透露说,「大概明年中下旬会出新一代的助听眼镜,它会是无线的一体机,能支持的机型更多,而且佩戴感受也会提升不少。」

「做成普通眼镜那样」

对这群工程师和产品经理来说,去做调研的每一天都很感动。

「有人跟我说,他出生到现在三十多年间试过大量不同的方法,从药物医疗到助听辅具,但他觉得『也就那样儿』……他们中的不少人已经『心灰意冷』了。即便有手语、辅具、翻译软件等工具的存在,他们仍然感知不到外界更丰富的声音,比如外面的风声,现在聊天室里轻微的人声。」

近年出现的「隐藏字幕」(CC 字幕)鲜有人知:除了展示台词,字幕还会解释、提示画面中所发生的事情,包括一些细微的环境音。比如动画短片《Blush》——在这部导演向其亡妻献礼的默剧中,讲述了一名园艺宇航家意外坠毁在一颗荒凉的矮行星上。宇航员的飞行器撞到行星发出的巨响,风声吹拂行星地表植物的细响,字幕都将其描述出来。

假如在未来,眼镜的感知能力和 AI 算力达到了更高的水平,也能把听障原本感知不到的丰富声音用「字幕」显示出来。有听障用户对亮亮视野表达了愿望:「司机按车喇叭,狗冲着我叫,能不能也让眼镜告诉我?」

「让眼镜里的芯片去充分理解语义,对人的言语进行智能整理,最终给听障用户呈现最精简的版本。以及,做到识别不同说话者的声纹。」这些将是亮亮视野后续进一步的目标。

亮亮视野的工作人员在进行用户调研|亮亮视野

公司 CEO 兼董事长吴斐说,「语音转文字 AR 眼镜并非新鲜事物,与众不同之处在于对用户场景的理解更加深刻。」

人们需要更多「不新鲜」的科技,需要更多对用户需求有深度挖掘的科技。我们已经能够找到一些例子——

比如专门为听障用户设计的手机翻译 app「迷你语音」。相比市面上的同类产品,它在技术上并不突出,但在用户界面的设计上下足了功夫。它可以将说话者的人声转换成文字,听障用户通过打字来回复对方。与此同时,用户输入的文本的字号被放大数倍并且旋转 180 度面向对方,以便对方更好地阅读。另外,迷你语音还支持了 iOS 15 的画中画特性,可以将语音识别的界面缩小,并且在使用其他 app 时继续转录。

里索科技则研发了一款叫「无声救星」的助听智能手环。手环配备了无线声音接收器,当手环接收到用户的自定关键词,比如他们的名字,就会震动,提醒用户:身边有人正在说话,请留意内容。有时,听障者说话较为大声,容易尴尬场面,当手环检测到声量过大时,便会震动提示控制声量。

Digital Nature Group 推出了翻译字幕面板 See-Through Captions,本质上是一个透明的投影仪,可将音频转换为字幕并在其双向屏幕上显示对话。产品有两种款式,固定式的和可移动的,可以在不同的场合使用。

这些都是对特殊人群的诉求做了深度挖掘的产品。

亮亮视野的工作人员提前给眼镜设置了「唤醒词」,她设置的是我的名字。biu,她叫我的名字,镜片发出了蓝色的闪烁。他们说,未来会将助听眼镜做成普通眼镜的模样,要做到与普通眼镜没有区别,「这本身就是一个人文关怀设计」。

以上内容由"极客公园"上传发布 查看原文
一起剪

一起剪

ZAKER旗下免费视频剪辑工具

一起剪