一个 45B 的语音模型，能一边听你说话、一边看你的屏幕、一边在后台替你干活

3分钟看懂：它不是「语音助手」，是一个能同时进行多件事的对话模型

11 月 5 日，Boson AI 发布了 Higgs Realtime Duplex。官方把它称为自家第一代「全双工交互式全模态模型」——说白了，就是听、看、说、想可以同时进行，而不是你说完它再说。

一句话概括它和现在大多数语音助手的区别：

• 现在的语音助手：你说话 → 它等你说完 → 它回答 → 你再说。
• Higgs Realtime Duplex：你说话的时候它已经在听、在思考、在决定要不要接话；你打断它，它立刻停；它说话的同时还能调工具、把任务交给更大的模型，然后继续跟你聊别的话题。

它还会给自己「长一张脸」：模型实时渲染出一个和声音同步的人脸，不是预录的视频，是每一帧现算的。

本文基于 Boson AI 官方发布内容，并结合多家媒体转述整理。

为什么这件事值得关心：语音 AI 最难受的不是音质，是「节奏」

用过语音助手的人大概都遇到过这三种尴尬：

1. 抢话。 你只是停顿想一下，它以为你说完了，开始回答。
2. 听不懂「不是跟你说的」。 你在点单，顺口跟旁边人讲了一句，它接了。
3. 一思考就死机。 你问一个需要查资料的问题，它沉默五秒，你以为断线了。

这三个问题都不是「声音像不像人」的问题，而是对话节奏的问题。而节奏问题的根源，是大部分系统在做「半双工」——像对讲机，同一时刻只有一方能说话。

Boson 在发布里把目标说得很直白：人类对话里，回应通常落在对方说完后 200 毫秒内；有时候甚至会在对方还没说完时就接上。要模仿这个，模型必须能同时听和说。

它怎么做到的：把时间切成 160 毫秒一格

这是整个架构里最关键的一个设计：所有输入输出流，都切成 160 毫秒一个片段。

• 你的声音、摄像头画面、工具返回的结果，全部按片进来；
• 模型的语音、人脸、以及后台的思考，全部按片出去；
• 没有声音的间隔也算一片——所以它不会因为「安静」就停止聆听。

按官方的说法，每一步模型只做一件事：读刚进来的那片，写出下一片。思考、调工具、委派任务这些动作，可以横跨好几片，把几片的输出拼起来就是完整结果。

这套做法带来一个直接后果：它不需要等你把话说完才动脑。 你一句话说到一半，它已经在建推理链；工具结果可以分段回来，它拿到第一部分就开始回答，不必等全部到齐。

前后台分工：小模型负责聊天，大模型负责攻坚

Boson 的架构里有两层：

• 前台模型：45B 的 MoE（混合专家）模型，负责实时交互——听、看、说、决定何时开口。它自己也思考、也调工具。
• 后台模型：可以是更大的前沿模型。前台判断这个任务自己搞不定，就把完整上下文交过去，后台慢慢算，前台继续跟你聊。

这里有个值得注意的取舍。Boson 在博客里专门点了 Thinking Machines 的做法：对方把思考和工具调用都交给后台模型。Boson 认为那样更简单但更贵——因为大推理模型一次响应可能要十秒以上，每轮都调用，成本根本压不住。所以他们的做法是：大部分请求前台自己解决，只把真正难的交出去。

代价也很清楚：前台模型只有 45B，遇到硬问题时能力上限就在那里。Boson 自己承认，他们试过更大的模型，分数确实更高，但跑起来更贵。

训练：2 万亿 token，自己的 H100 集群

• 底座是一个预训练过的文本模型，再继续用约 2 万亿 token 的文本、音频、视频数据训练。
• 训练在自己的 NVIDIA H100 集群上完成，训练栈部分基于 Megatron。
• 后训练用了一套「多教师在线策略蒸馏」（MOPD）：先针对不同能力（自然对话、交互行为、动态委派、任务完成）用强化学习训练出各自的教师模型，再蒸馏成一个学生模型。
• 另外还有一个「递归自我改进」循环：让智能体在模拟环境里跑，复盘失败，合成针对性数据，再训练。模拟环境要能复现真实对话里的打断、抢话、旁聊、背景噪音。

算账：一分钟 2.6K 到 5K token

全双工最容易被忽略的成本问题是：它在没人说话的时候也在消耗算力，因为每一片都要处理，上下文很快就满了。

Boson 给的数字是：

• 音频输入 6.25 token/秒，音频输出 12.5 token/秒；
• 摄像头画面每 6 片取一帧（约十几个 token）；
• 人脸输出每片 2 个 latent；
• 音频 + 视觉合计约 2.6K token/分钟；加上思考、工具调用和返回结果，总共约 2.6K~5K token/分钟；
• 实际生产环境里保留最近 5 分钟的音频和画面，大约 13K~25K token；更早的历史压缩成文本保留。

他们对成本定的目标是：跟它聊一小时，花费不超过一个人一小时工资的十分之一。 这个目标目前还没有对应的公开价格可以验证。

实测表现：有第一，也有第二

Boson 公布了一组对比，对手包括 Thinking Machines 的 Interaction Small（276B MoE）、OpenAI 的 GPT Realtime / GPT-Live 系列、Google 的 Gemini Live 系列。

• Big Bench Audio 准确率 98.9，是参评最高（TML 96.5，GPT Realtime 2 High 97，Gemini 3.8 Live 98）。
• Audio MultiChallenge APR 44.9，第二（TML 43.4；最高是 GPT Realtime 2 xHigh 的 48.5）。
• Full-Duplex-Bench v1.5 平均 75.5，落后于 TML 的 77.8 和 GPT-Live-1 的 80.1。
• QIVD 流式准确率 56.0，略高于 TML 的 54.0，低于 GPT Realtime 2 xHigh 的 58.2。
• τ-Voice 任务完成率 69.8%，第二（GPT-Live-1 是 74.5）。
• IFEval 指令遵循 94.1，第二（GPT Realtime 2 xHigh 95.2）。

注意两件事：第一，Boson 没有公布声音克隆和虚拟人克隆的对比，理由是其他模型不支持这两项，没法比。第二，官方说这些对手的分数多来自对方公开报告和榜单，他们复现了一半以上来校准自己的评测管线——这句话的意思是，剩下那一半是直接抄的。

另一个值得看的对比是参数量：前台模型 45B，TML 的 Interaction Small 是 276B，差六倍，分数互有胜负。Boson 自己的解读是「这个领域还很早期，数据、架构和训练方法比堆参数更重要」。

怎么用：现在还排不上队，先把路径摸清

这是最需要说清楚的一点：

• API 还没开。 官方写的是 "coming soon"，只能加等待名单。
• 没有价格。 定价页目前只覆盖已有的 Higgs Realtime，不含 Duplex。
• 没有开源权重。 45B 模型不放出来。
• 现在能用的是上一代。 带虚拟人输出的 Higgs Realtime 已经在卖，按官方定价页计费。

所以如果你现在就想接一个「边听边看边说」的语音 Agent，Duplex 暂时不是可选项，得等 API 开放。

适用场景：谁应该盯着它

• 做客服/销售语音 Agent 的团队：最直接的收益是「不抢话」和「能被打断」，这两点直接影响用户挂断率。
• 做在线教学、口语陪练的：官方演示里有一个场景是它盯着学习者的嘴型纠正发音，还要控制练习节奏。
• 做 hands-free 工程/运维工具的：一边干活一边用语音问，任务在后台跑，不占用对话。
• 做虚拟人/数字人的：声音和脸都是零样本加载的——一段参考音频定声音，一张参考图定脸，不用微调。

不适用场景：哪些人先别急

• 要私有化部署的：没有权重，只能走 API。
• 要中文能力的：官方发布里没有提中文支持情况，演示全是英文场景。这一点必须自己验证，别假设。
• 要极致低价的：全双工意味着持续计费，成本结构和你现在按次调用的 TTS 完全不同。
• 要严格可控输出的：它自己决定什么时候开口、什么时候沉默，这种「主动性」在客服合规场景里可能是风险而不是优点。

注意事项：几个容易踩的坑

• 别把「全双工」理解成「可以同时说两句话」。 它指的是模型可以同时收发，不是让你和它合唱。
• 别把 benchmark 第一名当成全面领先。 七个指标里它拿了两个第一、四个第二，Full-Duplex-Bench 平均分是落后的。
• 别忽略 token 账。 2.6K~5K token/分钟听起来不多，但这是「一直开着」的消耗；一天挂 8 小时就是 120 万到 240 万 token。
• 注意 TML 那条对照。 如果你的场景里复杂推理占比高，45B 前台 + 后台委派的组合可能不如直接上大模型稳。

第一步可以做什么

1. 去 Boson 官网加 API 等待名单，先把账号和场景想清楚。
2. 如果现在就要验证交互体验，用已有的 Higgs Realtime 跑一个小 demo，重点测「打断」和「旁聊不接话」这两件事。
3. 把自己的场景按「实时交互占比 / 复杂推理占比」列一下，判断是不是真的需要全双工；很多场景用半双工 + 流式 TTS 就够了。

参考来源

• https://www.boson.ai/blog/higgs-realtime-duplex
• https://www.boson.ai/blog
• https://www.voiceaispace.com/articles/boson-ai-higgs-realtime-duplex-full-duplex-omni-model
• https://www.lhc.media/en/media/ai-watch/speaking-and-working-at-the-same-time-in-higgs-realtime-duplex
• https://agihunt.info/p/1a1b292820b20ac0359c58c8148