关于ZAKER 合作
我爱音频网 14小时前

国产端侧 AI 音频芯片新突破,头部音频品牌首发搭载炬芯方案

随着生成式 AI 大模型往本地推理延伸的快速发展,消费者对终端设备 AI 化要求越来越高,AI 芯片技术正结合云端向端侧 AI 推理发展。端侧 AI 芯片正呈现爆发式增长,头豹研究院数据显示 2023 年中国端侧 AI 市场规模达 1939 亿元,预计今年将突破 8661 亿元,年复合增长率高达 111%。

按处理的数据类型与模态,端侧 AI 芯片可以分为端侧 AI 音频芯片、端侧 AI 图像处理芯片、端侧 AI 视觉感知芯片等。其中端侧 AI 音频芯片是专为 TWS 耳机、无线麦克风、智能音箱等端侧设备设计的,用于语音识别、语音理解、语音增强和音频场景数据分析。

端侧 AI 芯片驱动音频行业变革

在过去,传统的音频设备没有端侧 AI 芯片的加持,只是单纯作为音频播放的工具,功能相对单一固化。随着物联网、人工智能技术的发展,音频设备智能化交互成为众多消费者向往的新功能。

其中最典型的当属语音交互,云端 AI 处理是早期音频设备实现语音交互的主要方式,但这种方式存在延迟、功耗高、用户隐私易泄露等问题。人们开始思考将音频设备数据从云端转向终端直接处理,端侧 AI 音频芯片随之应运而生。

它是一种专为在终端设备本地实现智能化音频处理而设计的芯片,市面上有几种不同的端侧 AI 芯片设计,有的在传统架构下采用先进工艺提高算力,有的在现有基础上通过接入云端达成 AI 属性,而市场上还有一种是采用架构创新的方式,集成了专门的 AI 加速引擎,并采用先进的低功耗架构设计,不需要依赖云端,就能直接在终端设备上进行 AI 运算,对音频数据进行处理、分析。

端侧 AI 音频芯片的出现,正驱动音频行业从 " 硬件功能 " 向 " 智能化 " 全面转型。在语音交互方面,端侧 AI 芯片能让音频设备实现高精度的语音唤醒功能,设备可精准识别用户说出的唤醒词。而且大大提升了音频设备对语音内容的识别准确率和理解能力,还可以支持中英日等多种语言的语音交互。

在音频处理方面,利用 AI 算法,端侧 AI 芯片能够有效抑制环境噪声,消除音频中的回声,同时还能对音频进行智能增强。而且端侧 AI 芯片还可以通过对多个麦克风采集到的音频信号进行分析,准确判断声源的位置。

在以上两大核心功能升级之外,端侧 AI 芯片还为音频设备带来了实时健康监测、听力保护、情绪识别等新功能。在音频设备的交互方式上,端侧 AI 音频芯片也带来了革新,衍生了手势与触控融合、骨传导操控、语音 - 视觉融合交互的新方式。

端侧 AI 音频芯片的技术革新,正驱动无线麦克风市场爆发。洛图科技的数据显示,2023 年中国新型无线智能麦克风的销量为 102 万台,同比增长 4 倍以上。

我爱音频网「听见」栏目组此前采访了市场火爆的多个无线麦克风品牌,其中猛玛透露其 2024 年整个麦克风品类销量大幅增长了 70%-80%,BOYA 博雅也同样表示无线麦克风市场在快速增长,去年 BOYA 博雅线上总 GMV 同比暴涨 9 倍。

我爱音频网持续关注着无线麦克风行业的发展,此前也对12 大品牌 16 款无线麦克风进行评测,并拆解了 12 大品牌 17 款无线麦克风。作为专注音频行业的媒体,我爱音频网一直致力于为行业、品牌和消费者之间搭建沟通的桥梁,助力无线麦克风市场健康稳定发展。

由我爱音频网主办的「2025 亚洲 AI 智能无线麦克风大会」,定于 2025 年 6 月 13 日(周五)在深圳举行,届时将汇聚产业链上下游的企业和专业人士,展示行业内的创新成果与前沿思想,加强市场间的紧密合作,共同推进行业的持续发展和进步。

端侧 AI 音频芯片通过 " 本地算力 +AI 算法 " 的组合拳,解决了无线麦克风环境降噪、延迟传输、续航焦虑、音质平庸等技术痛点。随着端侧 AI 音频芯片算力提升,无线麦克风将进一步集成实时多语言翻译、声纹身份认证等能力,从音频采集工具进化为智能交互终端。

端侧 AI 音频芯片落地商用存在诸多挑战

端侧 AI 音频芯片风口飞起来了,但是在无线麦克风领域商用落地仍存在很多难题。首先是算力、功耗、成本三者之间平衡的问题,提升算力,势必会导致功耗上升,而采用低功耗设计,又会限制峰值性能,通过先进制程降低单位算力功耗,但成本又会飙升。

而音频设备需要在 1W 以下功耗实现 TOPS 级算力,例如 TWS 耳机需在 5mW 功耗下运行语音唤醒、AI 降噪和 LE Audio 编解码。所以对于成本敏感又讲究超低功耗的消费级音频设备市场来说,那的确是一个不好解决的问题。这需要企业通过技术重构与架构创新来破局。

端侧 AI 音频芯片需要采用多核异构架构,集成多种不同类型的处理器核心,如通用 CPU、专用 DSP、神经网络加速器 NPU,这样在处理不同任务时就能调用不同的处理器。轻量任务由通用 CPU 处理,复杂模型由 NPU 执行,这种创新的计算策略不仅可以压低功耗,还能大幅提高计算效率。

因此,国内外前沿研究单位提出存算一体这种创新设计,在一定程度上也可以解决算力、功耗两者矛盾的问题。采用存内计算,可以将语音特征提取的能效比提升 10 倍;使用 3D 堆叠 HBM 内存,进一步突破存储墙限制,从而大幅减少数据搬运功耗。

在算法适配层面,端侧 AI 音频芯片要实现商用,需要支持动态 8bit/4bit 混合精度和稀疏化神经网络计算等前沿算法。语音唤醒阶段使用 4bit,可以节省 50% 功耗;语义理解切换至 8bit,又能保障精度。

在降本方面,我们可以使用 Chiplet 异构集成、RISC-V 架构来降低开发成本。此外,生态壁垒也是端侧 AI 音频芯片商用落地难的一大问题。端云协同割裂,本地芯片与云端服务协议不兼容,会导致开发周期增加 30% 以上。而且现在开发工具链似乎也不成熟,这些都会影响端侧 AI 音频芯片的落地。

炬芯端侧 AI 音频芯片成功落地,被猛玛 LARK MAX 2 无线监听麦克风采用

虽然国内已有不少企业发布了自研的端侧 AI 音频芯片,但许多并未真正打入消费级终端市场。芯片产品没有进入到商业化落地,就谈不上真正的成功。市场需要的是能够大规模量产的民用产品。

近期,端侧 AI 音频芯片落地传来重磅好消息。全球视野的专业音频芯片品牌厂商炬芯科技在其官方微信平台上宣布,其第一代端侧 AI 音频 SoC ATS3231 系列芯片,被猛玛全新一代旗舰级无线监听麦克风 LARK MAX2 采用。

这意味着炬芯科技端侧 AI 音频芯片已从实验品成功走向落地商用,成为国产端侧 AI 音频芯片在消费级市场的重大突破,并在该领域旗舰级产品形成了强大的技术壁垒。

公开资料显示,猛玛首创的无线监听麦克风新品可以实现 25ms 的无感延迟及 100m 的无线监听距离,搭载高性能 AI 降噪模型,支持 32bit 全链路传输,36 小时的超长续航,340m 超远距离稳定传输。

这些出色的功能需要依靠端侧 AI 音频芯片支撑实现。据悉此次猛玛选取了炬芯科技第一代端侧 AI 音频 SoC ATS3231 系列作为其旗舰新品 LARK MAX 2 无线监听麦克风的主芯片。

在一众竞争者中,为何炬芯科技能获得猛玛的青睐,其端侧 AI 音频芯片在商用落地又有什么特别优势?

ATS3231 系列在架构上创新集成 CPU、NPU 并融合了 Cadence 第五代高性能音频数字信号处理器 HiFi5 DSP,NPU 部分并采用模数混合 SRAM 存内计算技术(Mix-mode SRAM based CIM, 简称 MMSCIM)设计,是炬芯第一代搭载 AI-NPU 的三核异构 SoC 芯片,将 NPU 与 DSP 融合设计形成一个超高弹性的架构,在这种 AI-NPU 架构中 MMSCIM 支持基础性通用 AI 算子和模型,提供低功耗大算力。同时,由于 AI 新模型新算子的不断涌现,MMSCIM 未覆盖的新兴算子或模型则由 HiFi5 DSP 来予以补充,成功解决了端侧 AI 音频芯片应用在算力、功耗、能效之间的难题,为单位毫瓦功耗下提供能 TOPS 级别极致能效比的 AI 算力。

不仅如此,炬芯科技还为 AI 开发生态提供专用的 "ANDT" 开发平台,基于强大的芯片平台可支持 TensorFlow、Caffe、TFLite、PyTorch 和 ONNX 等主流 AI 深度学习框架或模型,并支持目前所有主流的 AI 模型,客户只要按照标准的 TensorFlow、 PyTorch 这类框架来设计自己算法,导入到炬芯的开发平台,即可自动选择最适合的 DSP 或者 NPU 来进行处理,极大了提高了开发的效率。

炬芯科技第一代的模数混合 SRAM 存内计算技术的核心运算能力高达 100GOPS@500MHz,能效比高达 6.4TPOS/W@INT8,在同等条件下,相较于 DSP HiFi5,实际应用算力和能效比分别可提升约 16 倍和 60 倍,功耗可降低 90% 以上。

模数混合 SRAM 存内计算是目前最佳的低功耗端侧 AI 音频技术架构。炬芯科技在这一技术上表现出相对领先的优势,2024 年、2025 年都在持续进行技术迭代。去年在全球 CEO 峰会上,炬芯科技董事长周正宇博士发布了炬芯科技 AI(Actions Intelligence)战略,旨在让 AI 随处可及,战略中提到了 2026 年将推出新制程 12 纳米的第三代(GEN3)MMSCIM,GEN3 MMSCIM 每个核达到 1 TOPS 的高算力,支持 Transformer,能效比进一步提升至 15.6TOPS/W @INT8。

除了 AI 算力外,音频处理模块和无线连接也是端侧 AI 音频芯片的重要组成部分。公开资料显示,炬芯的 ATS3231 系列端侧 AI 音频芯片支持全链路 48KHz@32bit 的高清音频通路,可以实现 DAC SNR 120dB(噪声小于 2uVrms)和 ADC SNR 111dB(噪声小于 3.6uVrms)的优秀技术指标,可见其具备提供录音棚专业级声音的能力。

通过 48K 双麦 AI ENC 降噪算法,能够快速识别各种复杂环境下的环境噪声,猛玛 LARK MAX 2 实现了 20 档无极降噪调节,可根据不同的拍摄场景动态适配有效过滤噪声,并可自动识别突发噪声,使用户可以获得干净、高清的人声。

此外,ATS3231 系列也是炬芯科技第三代高音质低延迟无线收发音频芯片,秉承炬芯科技低延迟高音质技术,并全球首创灵活的双 RF 设计。凭借其突破性设计,该芯片支持最高 4Mbps 的无线传输带宽,为猛玛 LARK MAX 2 打造无线麦克风 + 无线监听耳机一体化创新应用提供核心技术支撑,实现行业领先的旗舰级超低延迟音频传输(端到端 25ms 无感延迟)体验。并成功赋能 LARK MAX 2 实现四发射端与一接收端的多链路组网模式,开创无线音频设备协同工作新范式。

而且炬芯科技通过 16dBm 强劲发射功率与新一代无线跳频技术的深度融合,助力猛玛无线监听麦克风 LARK MAX 2 实现 340m 超远距离稳定传输,远超市场上同类产品的稳定传输距离,展现出强劲的传输稳定性和抗干扰优势,使用户可以在无论是大型户外活动多机位拍摄,还是在大空间内自由创作等各种复杂多变的环境下,均可得到稳定可靠的音频传输。

不仅如此,ATS3231 系列在此创新架构下获得了极致能效比,在同等功耗的场景下为 AI 赋能提供更大的算力支持,在同类产品相同的更高 AI 算力需求情况下可大幅降低功耗,使得猛玛 LARK MAX 2 无线监听麦克风实现 36 小时的超长续航。

经炬芯与猛玛携手开展深度研发,这款无线监听麦克风产品一经推出即引领无线麦克风行业潮流,为用户创造更专业、全面无线、AI 高效创作的新体验

我爱音频网总结

端侧 AI 音频芯片,无疑已经成为整个音频行业的技术焦点,同时也是未来音频产品创新的主要来源。这种革命性技术将重塑整个音频设备行业的竞争格局,谁率先掌握,谁就能在市场上赢得先发优势。

从技术研发走向落地商用,是端侧 AI 音频芯片发展的关键。炬芯科技的端侧 AI 音频芯片通过架构创新、模数混合 SRAM 存内计算、首创双 RF 突破性设计等核心技术,解决了落地商用的难题,获得了如猛玛这样的头部音频品牌青睐。炬芯科技 " 技术 + 芯片 + 开发平台 + 应用 " 的 AI 生态构筑制高点,为其形成了非常强大的技术和生态壁垒,可为万亿级巨大市场的 AIoT 设备提供强大的 AI 算力支撑,并为品牌客户产品商业化落地提供了完备的、个性化的、高效便捷的 AI 开发生态,在 "AI 战略 " 下助力行业生态健康、快速发展,真正做到让 AI 随处可及。

相关标签