AssemblyAI Universal-3.5 Pro:原生语码转换、最准说话人分离,ASR 模型解决真实音频三大痛点
基于已整理草稿生成的网页版文章,适合先稳定落地,再做局部润色与发布检查。
7 月 7 日,AssemblyAI 发布了旗舰语音识别模型 Universal-3.5 Pro 的异步版本。这不是一次常规升级——它同时解决了真实音频转录中最让人头疼的三个问题:多语言混说时丢词、说话人"谁说了什么"分不清、专业术语听写错。每个问题都不是小修小补,而是从模型架构层面重新设计。
原生语码转换:18 种语言混说不用切
大多数人说话时不会在两种语言之间"暂停切换"。印度英语和印地语混说、加拿大法语区法语和英语交替,这些场景在传统 ASR 系统中经常出问题——模型会强制把所有内容归到一种语言,少数语言的部分直接被吞掉或转写错误。
Universal-3.5 Pro 把语码转换做进了模型本身,不是事后拼接。18 种语言之间可以句内自由切换,无需任何配置或单独处理步骤。AssemblyAI 给出的 benchmark 数据显示,在 5 种语言对(西班牙语、德语、法语、意大利语、葡萄牙语与英语混说)的标准化词错率(Normalized WER)测试中,Universal-3.5 Pro 平均 7.69%,优于自家的 Universal-3 Pro(9.07%)、ElevenLabs Scribe v2(8.77%),远优于 OpenAI GPT-4o Transcribe(44.58%)和 Grok STT Batch(35.43%)。
一个直观的例子:一段语言学讲解中,说话人在英语句子中间插入"我父母不工作了",Universal-3.5 Pro 准确转写了中英文切换,而竞品直接把中文部分跳过了。
说话人分离:不再只问"谁在说话"
传统说话人分离是个独立系统,只负责回答"谁在什么时间说话",和负责"说了什么"的 ASR 系统完全分开。两个系统的输出靠时间戳对齐拼接,结果经常错位——短对话丢失、快节奏交锋被吞、说话重叠时全盘崩溃。
Universal-3.5 Pro 换了思路:把"谁说了什么"作为一个联合问题来解。模型直接输出带说话人标注的文本,而不是先切时间再贴文字。这样短促的来回对话、说话人频繁切换的场景都能被捕捉到。
更重要的是,AssemblyAI 提出了一个更合理的评估指标。传统的 DER(Diarization Error Rate)只看时间区域,不看文字——一个完美转录但漏标了 11 秒群体笑声的结果,DER 可能比把近三分之一词语归错说话人的结果还差。Universal-3.5 Pro 优化的是 cpWER(concatenated minimum-permutation Word Error Rate),它衡量的是"每个说话人的话,有多大比例被系统说错或归给了别人"。
在涵盖会议、电话、远场、对话等多种场景的 cpWER 测试中,Universal-3.5 Pro 平均 30.17%,低于 Deepgram Nova-3(37.92%)、ElevenLabs Scribe v2(35.26%)、Gladia(36.87%)等主要竞品。
上下文提示:给模型一点背景,术语准确率暴涨
Universal-3.5 Pro 引入了上下文提示(Contextual Prompting)功能。你可以在请求时传入领域或上下文信息,模型会利用这些信息引导转录。
一个游戏领域的例子很直观:一段英雄联盟职业选手的采访音频,2 秒的短片段。没有提示时,模型听到的是"And so look who I've been a dear";加上提示"This is a League of Legends Pro Interview"后,同样的音频被正确转写为"In solo queue, I ban Azir"。
医疗场景效果更显著:传入患者的上一次就诊记录后,药物和疾病名称的漏检率降低了 31%。呼叫中心可以预传产品名、品牌名、套餐名,会议场景可以传入上次议程或参与者名单。
18 种语言 + $0.21/小时
Universal-3.5 Pro 目前支持 18 种语言的全精度转录:英语、西班牙语、法语、德语、意大利语、葡萄牙语、阿拉伯语、丹麦语、荷兰语、芬兰语、希伯来语、印地语、日语、普通话、挪威语、瑞典语、土耳其语和越南语。
定价为每小时音频 0.21 美元。开发者只需在 API 配置中设置 "speech_models": ["universal-3-5-pro"] 即可调用。
值得注意的局限
Universal-3.5 Pro 是一个 API 服务,不开源。对需要私有化部署或数据不出域的场景,这个限制是硬性的。
语码转换的 benchmark 只覆盖了 5 种语言对(都是欧洲语言与英语的混说),中英、日英等亚洲语言混说场景的表现还需要更多实测验证。cpWER 虽然比 DER 更合理,但行业主流仍在使用 DER,短期内两个指标并存的局面不会改变。
此外,上下文提示虽然效果明显,但目前仅支持异步转录模式。实时模式下能否同样利用上下文信息,AssemblyAI 尚未说明。
对谁有用
呼叫中心和客服场景受益最大——多语言混说、多说话人交替、专业术语密集三大痛点同时被击中。会议转录产品也会从更准确的说话人分离中获益。医疗、法律等垂直领域则可以通过上下文提示大幅减少关键术语的错误。
从行业角度看,Universal-3.5 Pro 代表了 ASR 模型从"通用准确"向"场景可靠"的演进方向——不是在安静录音室里刷指标,而是在嘈杂、多语言、多说话人的真实场景中降低出错率。这个方向对整个语音 AI 领域都有参考价值。
---
*来源:AssemblyAI 官方博客,2026 年 7 月 7 日发布*
参考来源
说明:该页面由基础模板稳定生成,后续可继续局部润色样式或补充模块,再进入发布检查。