语音模型

9GB 就能装下的语音模型：给一段音频就能克隆音色，Mac 上 150 毫秒开口，手机浏览器里也能跑

2026年11月10日1 次阅读
9GB 就能装下的语音模型：给一段音频就能克隆音色，Mac 上 150 毫秒开口，手机浏览器里也能跑

音频模型动态 · 2026-11-09 · 分类：语音模型

Apache-2.0 权重端侧实时100M 激活参数零样本音色克隆

3分钟看懂：这次放出来的到底是什么

一句话：Zyphra 在 11 月 9 日放出了 ZONOS3-Mini 的模型权重，许可证是 Apache-2.0，商用也行。

它能干的事有三件：给一段几秒到几十秒的参考录音，它就能用那个声音说话；不给录音，也可以直接用旋钮「捏」一个声音出来，调年龄、性别、口音、气声；说话的语气也能调，快慢、情绪、力度，甚至可以精确到某一个词。

最反常识的是体积。它是一个稀疏 MoE 模型，总共 8 亿参数，但每生成一个 token 只激活大约 1 亿。落地成文件，PyTorch 权重加起来大约 9GB，还有个剪枝过的解码器版本，解码速度快约 3 倍。官方说这套东西在 112 张 H100 上训了 2.5 天。

本文基于官方发布内容，并结合多家媒体转述整理；榜单部分为厂商自测与自建评测集，没有第三方独立复现。

为什么这件事对普通人有意义

过去两年，好用的语音克隆基本是两种形态：一种是按月付费的云端 API，按字符或按秒计费；另一种是开源但跑不动，动辄几十亿参数，得先有一张像样的显卡。

ZONOS3-Mini 走的是第三条路：小到能塞进你手上的设备。官方给的三个数字很说明问题——M3 MacBook Air 上首字延迟低于 150 毫秒；Pixel 9 的浏览器里低于 570 毫秒；H100 上 8 路并发时中位数 80 毫秒。

这不是「音质又高了 0.1 分」的进步，而是「能不能不要服务器」的进步。做有声书、做游戏 NPC、做本地语音助手、给视频配音，这些场景卡住的往往不是效果，是延迟和账单。

到底小到什么程度

把关键规格摆在一起看会更清楚：

  • 总参数 8 亿，每 token 激活约 1 亿（64 个专家的 latent MoE，从第 1 层就开始 top-2 路由）
  • 主干 11 层，隐藏维度 1024，上下文 32768 个位置
  • 序列建模用 9 层 Gated DeltaNet 配 2 层全局注意力，比例 3:1
  • 音频侧是 15Hz 的帧率、44.1kHz 采样，每帧 10 个码本、每本 4096 项（1 个语义 + 9 个声学）
  • 单次生成最长 10 分钟音频
  • 内置 27 个默认音色，按语言分组

对比它上一代 ZONOS2 就能看出思路转变：ZONOS2 用 86Hz 的编解码器、8B 参数，效果好但太重，很难真的部署。ZONOS3-Mini 干脆把整条链路都换了一遍。

技术上真正动刀的地方

官方博客里最值得看的一段，是它没有再直接用现成的 Descript Audio Codec（DAC）。原因很实在：DAC 音质极好，但帧率高达 86Hz，自回归模型要在这么密的序列上预测，实时性就被锁死了。

于是 Zyphra 自己训了一个 ZAC-1（Zyphra Audio Codec 1）。按官方说法，在同等数据条件下，用 ZAC-1 训出来的模型词错率（WER）比用 DAC 低 10 倍，同时声学相似度还更好；和 S1-DAC、MOSS v2 这类主流 TTS 编解码器比，是在更好的压缩率下拿到相当的结果，或同等压缩率下拿到更好的结果。

第二个改动是把大语言模型那套架构经验搬过来：Gated DeltaNet 与全局注意力的混合、latent MoE、Q balancing、Attention Residuals。第三个改动是把说话人编码器从 Qwen3-TTS 换成 MECT-B2 声纹模型，官方说这同时改善了音色相似度和「捏声音」的可控性。最后是后训练，先 DPO 再 GRPO。

这些细节对普通读者不一定重要，但它们解释了一件事：小模型能做到这个水平，不是简单砍参数砍出来的，是把编解码器、架构、声纹表示、后训练四处一起重做。

能调的东西，比想象中多

它把「控制」拆成了两层。

身份层：年龄、性别、口音、音质（比如清晰顺滑 ↔ 略带沙哑）。口音是单独用 task vector 做的，官方示例里同一个说话人可以在美音、英音、澳音之间切换，但听得出还是同一个人。

表达层：语速、情绪、力度、活泼度，用的是 activation steering。更细的一层是利用注意力里的对齐头，做到词级控制——某个词说重一点、慢一点，都可以指定。

还有一个基于 VoiceCraft 思路的编辑模型，生成完之后可以回头改某一句，控制方式和正常生成一致。

怎么用：四条路，门槛从零到一张显卡

这部分是它比多数开源模型友好的地方，官方把运行时全给了：

  1. 什么都不装：打开 zyphra.com/zonos3-mini/localplayground，浏览器里用 WebGPU 直接跑。第一次访问会下载模型，之后走缓存。手机上也能开。
  2. 苹果芯：仓库里有 MLX 服务端，uv sync --locked --package zonos3-mlx 之后起服务，本地 1919 端口。
  3. 纯 CPU / 无 Python：C++/ggml 服务端和命令行，支持 CPU、CUDA、Metal、Vulkan。
  4. 服务端：SGLang-Omni 起一个 OpenAI 兼容的 /v1/audio/speech 接口，支持流式，也支持用参考音频克隆。

服务端起来的调用方式和 OpenAI 那套几乎一样：

curl -X POST http://localhost:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"input": "Hello from ZONOS3-Mini!"}' \
  --output output.wav

要克隆音色，就在请求体里加 "references": [{"audio_path": "ref.wav"}]；要边生成边播，加 "stream": true。

成本与时间：钱几乎不花，卡在硬件和时长

  • 权重 0 元，Apache-2.0，商用可用。
  • 本地跑：CUDA 版权重约 9GB（含默认解码器），一张 80GB 卡很宽裕，消费级卡也能塞；苹果芯走 MLX，统一内存够就行。
  • 云端跑：Zyphra 自己也托管了一份，按用量付费，适合只想试水的。
  • 时间成本：首次在 CUDA 上启动要 JIT 编译和构建文本规范化缓存，官方说「几分钟」，不是秒开。
  • 单条上限 10 分钟音频——做长有声书要自己切段。

适用场景

  • 本地语音助手 / 桌面 Agent 发声：不想把语音发到云端，也不想按量付费。
  • 游戏与互动内容：NPC 音色多、要低延迟、要能改语气。词级控制在这里很有用。
  • 有声书与播客草稿：先用克隆音色把整段念出来，人工再修。
  • 多语言内容本地化：文本规范化覆盖英语、中文、日语、韩语、德语、西班牙语、法语、意大利语、葡萄牙语九种；其他语言按原文直读，不保证读对数字和缩写。
  • 前端演示：浏览器里就能跑，做 demo 不用配后端。

不适用场景

  • 要求绝对音质天花板的商业配音：它主打的是体积和延迟，不是把 ElevenLabs 之类按在地上打。官方对比里也承认各家有各自擅长的样本。
  • 需要 30 分钟以上不切段的连续朗读：10 分钟是硬上限。
  • 小语种强需求：九种语言之外的文本规范化是缺位的。
  • 要复刻某个真人并公开使用：技术上做得到，法律上不一定行。

避坑：四件必须先说清的事

第一，榜单是自测的。 那个「开源第一」的名次来自 Zyphra 自己新做的 ZTTS2-Eval 和 Zyphra TTS Capability Index v1（420 个指标×测试集×语言项，用项目反应理论加权）。方法看着讲究，但仍然是出题人自己考试。它排第一，后面是 Fish S2 Pro 和 MOSS TTS v1.5——这个顺序可以当参考，不要当定论。

第二，声纹克隆有授权问题。 权重开源意味着任何人 download 下来就能克隆任何一段音频里的声音。做产品时至少要加一句「请确保你拥有该声音的使用授权」，这不是客套话。

第三，MoE 的「小」是激活意义上的小。 8 亿总参数、9GB 权重，下载和内存占用都是实打实的；只有算力开销小。别指望在 4GB 内存的老手机上跑得动——官方举的例子是 Pixel 9。

第四，别把「能跑」当成「跑得好」。 官方给的延迟数字是在特定硬件、特定并发下的中位数。你自己机器上的表现，取决于解码器版本（默认版还是 pruned 版）、是否流式、参考音频长度。

行动建议

如果你只是想看看效果：现在就可以开浏览器那个 playground，传一段自己的录音，听 30 秒。不用装任何东西，这是判断它值不值得你投入时间最快的方式。

如果你打算真用：先在自己的目标硬件上跑一遍 MLX 或 ggml 版本，量一下首字延迟和实时率，再决定要不要上服务端。9GB 权重下下来不贵，试错成本主要在时间。

如果你在做产品：优先想清楚声音授权和「换音色」的产品逻辑，这两个比模型选型更容易翻车。

参考来源

以下为本文核验所用的一手与第三方来源，按发布时间在近 72 小时窗口内。

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...