IT 之家 7 月 8 日消息,英伟达于今年 6 月发表论文,推出 Audex(Nemotron-Labs-Audex-30B-A3B)统一音频 - 文本大语言模型,总参数量 30B,激活参数 3B,在保留核心文本智能情况下,能理解和生成音频(audio)和语音(speech)。
该模型骨干为文本模型 Nemotron-Cascade-2-30B-A3B,后者为 52 层混合 Mamba-Transformer 结构,包含 128 个可路由专家、每次激活 6 个专家。

在音频组件上,Audex 使用 AF-Whisper(音频编码器)处理 16kHz 输入,配合两层 MLP 适配器映射特征,输出词表从原始 131072 个 Token 扩展至 205312 个 Tokens。

文本评测方面,Audex 在 MMLU-Redux 上得分 86.4,高于骨干模型的 86.3;在 IMO AnswerBench 上为 81.1,高于骨干的 79.3,但在 MMLU-Pro 与 GPQA-Diamond 上出现小幅下降。
IT 之家附上参考地址