语音模型

会插话也会被抢话的语音模型,这次只要 12GB 显卡:日本团队把 4B 全双工权重开源了,但它只会聊天

2026年11月15日4 次阅读
会插话也会被抢话的语音模型,这次只要 12GB 显卡:日本团队把 4B 全双工权重开源了,但它只会聊天

音频模型动态 · 2026-11-14

Haru-4B全双工Apache-2.012GB 显卡65ms

3分钟看懂

本文的一手信息来自 higurashi 官方技术博客、Hugging Face 模型卡和 GitHub 仓库,三处互相核对;「在 Hugging Face 上趋势榜靠前」「把实时语音变成白菜价」这类判断属于媒体侧观察,基于多家媒体转述整理,非官方口径。

一句话:过去的「AI 打电话」是三个人接力——一个把声音转成字,一个想好回什么,一个把字念出来。Haru-4B 是一个人同时听着、同时说着,所以它能「嗯哼」、能被打断、能抢话。

三个关键数字:

  • 7.5 Hz:每 133 毫秒一帧,模型吃进你的一帧声音,同时吐出一帧自己的声音和文字。
  • 10.54 GB:model.safetensors 的实际体积,bfloat16 精度,一个文件装完。
  • 65.2 毫秒:官方在 M1 Max 上跑 int8 权重的中位端到端延迟,不含音频分帧。

一句冷水:官方一个横向跑分都没给,全部质量证据只有一段英文「投资顾问对话」的演示视频。它还是个 pretrained base model,不会听指令,也不确保说的事实是对的。

它到底是什么:不是 ASR 加 TTS 拼起来

现在大多数语音 Agent 是级联的:先语音识别,再交给大模型,再语音合成。每次交接都会丢东西——语气、迟疑、情绪在转文字那一步就没了;三段串起来延迟叠加到 800 毫秒甚至 1 秒以上,而人说话之间的停顿大约 200 毫秒。这就是为什么很多 AI 电话听起来像个耐心的官僚。

Haru-4B 走的是另一条路,官方博客给了三个设计选择:

  • 一个位置装三条流:用户的声音、模型上一帧的文字、模型上一帧的声音,三者的嵌入直接相加,喂进同一个语言模型的同一个位置。官方说这样比「三条流逐 token 交错」把上下文长度压到三分之一,而且文字流不会被打断,听和说谁也不等谁。
  • 不要离散码本:多数语音模型用 RVQ,一帧声音要几个码本索引。Haru 用的是每帧 64 维的连续声学潜变量,7.5 Hz,一帧约 133 毫秒语音。少了码本,训练和推理的序列步骤都变少。
  • 一步出声音:一个 4 层 MLP 头直接从语言模型隐状态生成声学潜变量,先 Flow Matching 训练,再用 MeanFlow 蒸馏,推理时每个 token 一次采样搞定,不需要迭代采样,也不需要额外的声学 Transformer。

底座是 Qwen3.5-4B 的文本主干(32 层,hidden size 2560),音频编解码用 VibeVoice 的因果声学 tokenizer(24 kHz,每 3200 个采样点一个潜变量)。参数规模按「4B 主干 + 音频侧」算,官方对外叫 Haru-4B。

它是怎么被训出来的:4000 万小时真实语音

这一节是整份材料里最实在的部分,因为数字都能对上。

  • 预训练语料 4000 万小时以上,覆盖 160 多种语言,主攻九种:英、西、葡、德、法、中、日、俄、韩。官方特别说明,故意排除了大模型生成的对话和 TTS 合成的语音——因为要学的是真人对话里的自发打断、迟疑、附和、抢话和不规则的轮次边界,合成数据里没有这些。
  • 13 万小时以上(原文 13 million hours)的「分离后」双工对话数据,单条最长 60 分钟,用来学长程对话动态。
  • 算力:256 张 NVIDIA B200,约 8 天,训练框架 Megatron-LM。

数据处理上有两个自己造的工具值得注意。一个是 Sidon,语音修复模型,用来把真实录音还原成干净音频,团队还把加速它的 Triton kernel 单独开源成 Sidon-Triton。另一个是 FastDialogueSidon,把单声道混合录音拆成时间对齐的双声道流——真实世界的双工对话录音几乎不存在,只能靠拆分造出来。

这也埋下了它的第一个硬伤,官方自己承认:分离会留误差,重叠说话的地方尤其明显。Haru 从没在「原生的双声道录音」上训练过,现在正在补这一步。

官方的延迟账:65 毫秒是怎么凑出来的

这是全文最值得逐行看的一张表。场景是 M1 Max 上一款用 Swift 写的原生 app,加定制 Metal kernel,int8 权重,中位数:

  • 麦克风到 app 输入:5.3 毫秒
  • 一次模型步进:34.2 毫秒
  • socket 与交接:4.1 毫秒
  • 输出等待(含 15 毫秒余量与松弛):13.3 毫秒
  • app 到耳机输出:8.1 毫秒
  • 合计(p50):65.2 毫秒

但这一行下面还有一句必须一起读:65.2 毫秒不含音频分帧,而 7.5 Hz 的帧率意味着分帧最多再加 133 毫秒的算法延迟。也就是说,真实体感更接近「几十毫秒的处理 + 最多 133 毫秒的等待」,不是 65 毫秒从嘴边到耳边。

另外两条官方口径:在 NVIDIA B300 上走 vLLM-Omni,音频编解码加一次语言模型步进约 15 毫秒;模型卡明确写「蓝牙设备会再加 100 毫秒以上,建议用有线耳机和有线麦克风」。

怎么用:三条路,十二个 G

模型卡给的最短路径,一张 12GB 左右的 NVIDIA 卡就够:

git clone https://github.com/higurashi-ai/Haru && cd Haru
pip install -e ./haru
python -m haru.server --hf-repo higurashi-ai/Haru-4B

打开 http://localhost:8998,选一个角色卡,给它一段音色,就能开口说话。浏览器只在 localhost 或 HTTPS 下给页面麦克风权限;想给别人试,加 --share 会生成一条公开链接,流量走 Gradio 的共享服务器——这意味着你的对话会经过第三方,别拿来试敏感内容。

仓库里其实有三套实现,不是一套:

  • haru/:PyTorch 实现 + 网页 demo + 离线推理
  • haru_mlx/:Apple 芯片的 MLX 实现,带一个原生 macOS app,也就是跑出 65 毫秒那条路
  • haru_vllm/:vLLM-Omni 的服务插件,走 GPU 服务端

代码里 DuplexSession 的用法很直白:准备好参考音色,用角色卡开一个 session,然后每帧喂 3200 个 24 kHz 采样点进去,拿回一帧音频和文字。

音色要自己带。Haru 不带任何声音片段,你得上传或录一段:单人、3 秒到 3 分钟、干净语音。模型卡写得很直白——只能用你有权使用的声音。因为它确实能模仿参考音色,冒用是真实风险。

适用场景:谁该现在就去试

  • 研究轮次与打断:Apache-2.0 的权重 + 完整架构描述,是研究「附和、抢话、话轮交接」最省事的起点。这类行为以前只能在大厂 API 后面猜。
  • 端侧 / 隐私敏感场景:12GB 显卡、Mac 本地跑得动,音频不出机器。客服、医疗问询这类不能把录音传出去的场景,这是少数可选项。
  • 角色化产品的基座:角色卡 + 参考音色控制人设和声音,做「有性格的陪聊」比做「准确的知识助手」合适得多。
  • 中文场景的一个现实理由:九种主语言里包含中文,且是原生多语言训练,不是后接翻译。

不适用场景:它明确干不了的事

  • 当客服 Agent 上线。它是 pretrained base model,模型卡原话是「不会像助手那样遵循指令」。你要的是听话的助手,不是会聊天的模型。
  • 当事实来源。模型卡自己写:它不是可靠的事实来源。博客也承认,小主干限制了回答质量。它现在正在训 100B 以上的版本,反过来说明 4B 这版的知识和推理是真短板。
  • 要跑分决策的采购。官方一个横向基准都没有。唯一的质量证据是一段英文投资顾问对话的演示视频,用来展示附和与重叠说话。explainx.ai 的独立复核也写明「作者没有给出任何 head-to-head 数字,所以现在还无法比较」。
  • 重叠说话很多的环境。训练数据是分离出来的,分离误差和噪声会残留,多人同时讲话时最明显。
  • 非 Mac、非 NVIDIA 的服务器。MLX 只覆盖 Apple 芯片,vLLM-Omni 走 NVIDIA,其他加速卡目前没有官方路径。

避坑:几个容易误判的点

  • 「开源」要看是哪一层。这篇放出来的是权重 + 推理代码 + demo。训练代码和技术报告在博客的「Future Work」里,写的是「计划发布」。想复现训练的人,现在拿不到。
  • 仓库只有一个 commit。Hugging Face 上 higurashi-ai/Haru-4B 只有一条提交记录,时间 11 月 13 日;GitHub 仓库 11 月 12 日建、13 日首个提交,之后是打包和 codec 后端的小修。这不是缺点,但说明它是「刚放出来」,不是「打磨过的 SDK」。
  • 没有官方在线 Demo 空间。查过 Hugging Face 上该组织名下没有任何 Space,想试只能自己本地起服务,或者用 --share 把本地服务临时暴露出去。
  • 别把「趋势榜靠前」当质量证明。媒体写它在 Hugging Face 上趋势靠前、下载量在涨,那是关注度,不是准确率。权重放出来两天,还没有第三方复现。
  • 许可证别只看 Apache-2.0 四个字。权重是 Apache-2.0,但你喂进去的参考音色、你生成的内容,责任在你。模型卡专门加了一句「只用你有权使用的声音」。
  • 延迟数字要连着条件读。65.2 毫秒 = M1 Max + 原生 Swift app + 定制 Metal kernel + int8 + 有线设备 + 不含分帧。换成浏览器、蓝牙耳机、或者 Python 服务端,数字会完全不同。

成本和时间:自己跑到底要花多少

  • 权重体积:10.54 GB,bfloat16 单文件。下载完之后本地不产生调用费。
  • 显存:模型卡给的是「约 12GB 的 NVIDIA 卡」。留余量算 16GB 更稳;量化版本可以把门槛再压低,但官方没有发布量化权重,社区量化要自己验。
  • 一台 Mac 也算合格硬件:M1 Max 就跑出了官方那个 65 毫秒。这条对整个「实时语音必须上云」的假设是个直接反驳。
  • 时间成本:环境装起来是分钟级(pip install -e ./haru),但你要准备音色片段、写角色卡、自己搭评测。真正花时间的是最后一项——它没有跑分,所以你必须自己造评测。
  • 对比闭源 API:按分钟计的实时语音 API 在高并发下会把毛利吃掉;自建的代价是显卡和工程。这条不是官方说的,是按公开定价结构算的账。

行动建议

第一步,先在一张 12GB 的卡上把 demo 跑起来,用你自己的场景录音,而不是官方那段投资顾问对话。听三件事:你说话时它会不会「嗯哼」、你打断它时它停得多快、它抢话的时候是不是抢得有道理。

第二步,把「打断响应时间」和「重叠说话下的可懂度」量出来。这两个数字决定它能不能进你的产品,官方的 65 毫秒回答不了这个问题。

第三步,再谈微调。它是 base model,天生是给微调用的;但训练代码还没放,现在只能做推理侧的角色卡与音色适配。真要训练,等官方那份技术报告。

第四步,如果你的场景是「准确回答问题的助手」,先别迁。级联方案加一个更强的语言模型,今天仍然更靠谱。

参考来源

以下为本文核验所用的一手与第三方来源,按发布时间在近 72 小时窗口内。

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...