AI 文本转语音进入“ Next Level ”！独角兽 ElevenLabs 发布 Eleven v3：狠狠拿捏情感控制

AI 文本转语音已经进化到这种程度了吗？ ( ⊙ ⊙ )

莎士比亚戏剧腔、体育赛事激情解说、沉浸式有声书等诸多玩法简直轻松拿捏，而且听起来确实人机傻傻分不清楚 ~

就在刚刚，专攻 AI 语音合成的独角兽 ElevenLabs 发布旗下最新版 TTS 模型——Eleven v3。

不仅支持 70 多种语言（含中文），还能进行多人对话聊天，过程中每个人的情绪、语气等表现都非常生动。

官方自信表示，这是" 迄今为止最具表现力的文本转语音模型 "。

新模型发布不久即在 AI 圈引起热议，Reddit 网友也齐聚一堂疯狂讨论。

RIP 有声书配音。

对于英语为第二语言的人来说，根本无法区分 AI 和真人，唯一不足的是他们太热情了！

目前 Eleven v3 仍处于内部测试阶段，API 即将推出，实时在线版本正在开发中。

那么，新模型具体有哪些亮点？又是如何做到的呢？

引入音频标签控制情绪

接下来我们结合官方提供的「使用指南」一步步拆解 Eleven v3 的亮点及背后原理。

首先需要提醒，提示词过短更容易导致输出不一致，因此官方建议文本字符最好超过 250 个。

如何选择想要的声音？

一般拿到一段需要转语音的文本后，用户首先会考虑选择哪种声音。

对此，Eleven v3 当前提供了 "22 位优秀配音老师 "，他们基本上都是美国人和英国人，其音色适合不同配音场景。

James：嗓音沙哑而迷人，适合讲故事；

Priyanka Sogam：中性口音，适合深夜广播节目；

Jessica：年轻俏皮，适合流行内容对话；

……

同时通过上传一段参考音频，用户还能利用 "stability slider（稳定性滑块）" 控制生成的声音与原始参考音频的接近程度。

这里通常有三种不同程度的选项：

Creative：情绪化、表现力更强，但容易产生幻觉；

Natural：平衡且中性，最接近原始录音；

Robust：高度稳定，但对方向性提示的反应较慢。

同一音色也支持切换成其他语言（70 多种），不过从官网 demo 来看，目前 Eleven v3 更适合英语语种，转换成中文口音后听起来仍然很怪。

如何控制情绪表达？

选好声音后，接下来的重点是如何控制情绪表达。

答案是，Eleven v3 引入了通过音频标签控制情绪的功能。

这里的标签一共分为三类：

情感表达标签：如 [ laughs ] （笑）、 [ whispers ] （耳语）、 [ sarcastic ] （讽刺）等，用于表达不同的情感和语气；

音效标签：如 [ gunshot ] （枪声）、 [ applause ] （掌声）、 [ swallows ] （吞咽声）等，用于添加环境声音和效果；

特殊标签：如 [ strong X accent ] （强调某口音）、 [ sings ] （唱歌）、 [ fart ] （放屁声）等，用于创意应用。

顺便一提，某些特殊标签在不同语音之间可能存在不一致的情况，官方建议使用前最好测试一下。

具体用法如下，直接在文本中的合适位置插入即可。

除了引入标签，官方表示学会正确使用标点符号也很重要。

标点符号对 Eleven v3 中的情绪传递有显著影响。

通常，省略号用于在语音中增加停顿和强调、大写字母用于增强语句中的强调效果、标准标点符号帮助提供更自然的语音节奏和流畅度。

如何实现多人对话？

最后，从单人→多人对话，用户只需从语音库中为每个说话者分配不同的语音即可。

一个完整版的多人对话提示如下（音色分配、音频标签、标点符号齐上阵）：

总之，和之前的 v2 版本相比，v3 新增了多人对话功能，还提供了更多音频标签和语言选择。

网友实测：和宣传一致

目前，一些获得内测资格的网友也第一时间分享了其体验结果。

总体来看好评居多。

先直观感受一下 v2 和 v3 之间的差别：

网友表示，v3 实现了 v2 未能成功的情感表达。

再来感受一下切换成西班牙语：

该网友同样表示，Eleven v3 的情感识别功能令人印象深刻。

换成情感大杂烩，一家生成式 AI 公司的副总裁表示，"v3 和宣传的一样好 "。

不过这里他也提到了一点小瑕疵，比如 [ whistle ] （口哨）的声音过短。

Anyway，整体而言这款产品在情感控制上已经渐趋成熟了，只不过中文效果仍比不上英文。

这不就是咱们国内语音厂商的机会所在吗（doge）~

参考链接：

[ 1 ] https://x.com/elevenlabsio/status/1930689774278570003

[ 2 ] https://elevenlabs.io/docs/best-practices/prompting/eleven-v3#targeted-niche

[ 3 ] https://www.reddit.com/r/singularity/comments/1l46lz5/introducing_eleven_v3_alpha_the_most_expressive/

— 完 —

量子位 AI 主题策划正在征集中！欢迎参与专题365 行 AI 落地方案，一千零一个 AI 应用，或与我们分享你在寻找的 AI 产品，或发现的AI 新动向。

也欢迎你加入量子位每日 AI 交流群，一起来畅聊 AI 吧～

一键关注 点亮星标

科技前沿进展每日见

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！