
其中,Eleven Realtime v1 Mini 主要面向人工智能助手、在线教师及互动角色等以自然对话交互为核心的场景;Eleven Realtime v1 Max 则专注于客户支持、潜在客户筛选及涉及多步骤逻辑的工作流任务,具备更强的推理与工具调用能力。
两款模型均支持超过 90 种语言,并可调用 ElevenLabs 库中逾 1.7 万种声音。系统将语音识别、语音活动检测(VAD)、轮次切换及语音生成整合于单一架构中,解决了判断响应时机、处理中断及协调语音输出同步等技术难题。
" 构建听起来自然的语音代理,不应要求开发者成为配置专家。"ElevenLabs 在公告中表示。
基准测试:Max 强于推理,Mini 胜在交互
第三方机构 Artificial Analysis 的独立评估显示,两款模型在不同维度各有所长。
在考察问答推理能力的 Big Bench Audio 基准测试中,Max 的正确回答率达 98.8%,显著高于 Mini 的 75.9%。在工具使用任务中,Max 的任务完成率为 87.1%,而 Mini 仅为 60.3%。此外,Max 的首次音频生成平均耗时 0.57 秒,略快于 Mini 的 0.62 秒。
然而,在评估停顿、中断、轮次转换等对话动态表现的 Full-Duplex-Bench 测试中,Mini 得分 95.8%,优于 Max 的 94.1%。在基于人类偏好的 Speech Agent Arena 盲测中,Max 得分为 998,Mini 为 988。ElevenLabs 建议,严重依赖工具调用和多步骤工作流的应用应优先选择 Max。
兼容 OpenAI 接口,支持多渠道部署
为吸引已使用 OpenAI Realtime API 的开发者,Eleven Realtime 遵循 OpenAI 的 Realtime 规范。开发者只需更改现有集成中的 API 端点和模型名称,即可轻松迁移至 ElevenLabs。
该 API 通过 WebSocket 连接并支持 OpenAI SDK。需注意,原本使用 WebRTC 集成的开发者需迁移至 WebSocket 方可使用该服务。
此外,开发者可通过 ElevenLabs 的代理平台 ElevenAgents 访问这些模型。该平台支持电话、网页、WhatsApp 及呼叫中心等多种渠道部署,并提供工作流编排、知识库管理、安全护栏、测试及监控等配套工具。
【星途科讯 图文丨小林 首发于 ZAKER 科技,转载请注明出处】