语音模型

Fish Audio 开放 Drama 3 权重:35B MoE 语音模型"听懂导演说戏",一句话让 AI 重录一遍

2026年10月14日0 次阅读
Fish Audio 开放 Drama 3 权重:35B MoE 语音模型"听懂导演说戏",一句话让 AI 重录一遍

> 先讲结论:语音公司 Fish Audio 于 10 月 13 日发布新一代语音生成模型 Drama 3(预发布版),并同步在 Hugging Face 开放权重。它最大的特点是"听懂人话"——你用大白话告诉它"这句笑一点、下句小声说、整段再来一遍但更开心",它就照做。35B 参数的混合专家架构、约 80 种语言、44.1kHz 音质,配音、播客、游戏、有声书从业者都值得看一眼。本文基于 Fish Audio 官方发布信息并经多家媒体转述整理。

这是什么?

Drama 3 是 Fish Audio 的第三代语音生成模型,定位很明确:把配音从"调参数"变成"导戏"。

上一代 S2 已经能做到高质量语音克隆和多情感合成,但控制手段偏向固定的音频标签。Drama 3 换了个思路:直接理解自然语言指令。你可以写"用耳语的语气说这句话"、"念到产品名时加重"、"[笑场,重来,更兴奋一点]"这种导演笔记式的描述,模型照单全收。

底层架构也换血了:

  • 35B-A3B 混合专家(MoE)主干:256 个专家里每个 token 只激活约 3B 参数,主干用门控 DeltaNet 线性注意力(每四层配一层全注意力),从 Qwen3.5 初始化
  • Codebook-MTP 音频解码器:13 层新结构替代 S2 的 Fast AR,输出 44.1kHz 音频
  • 强化学习对齐:用单一人类偏好奖励模型跑 GRPO,没有人工规则奖励

训练数据规模是数千亿 token,覆盖约 80 种语言和方言。

为什么重要?

对普通用户来说,这是"AI 配音好不好用"的分水岭事件:以前的 TTS 更像高级复读机,Drama 3 更像能沟通的配音演员。

对实际干活的人,价值集中在四个场景能力上:

  • 多轮返场修改:第一版不满意,下一轮直接给备注(比如"比上一版更开心"),模型会带着原始参考音频和上一版重新演绎。官方数据显示,三轮返场后情绪准确率从 55.5% 提到 58.2%,风格准确率从 76.5% 提到 81.8%
  • 语音内剪辑(infill):已经录好的音频里想改一个词、加一声咳嗽,只需重生成改动窗口,前后音频原样保留。官方称在 Ming-Freeform 编辑基准上,中英文词错率都低于 Cartesia Sonic-3 的 infill 接口
  • 多角色场景:最多 16 个说话人的对话场景合成,适合广播剧、游戏 NPC 对话
  • 流式与长文本:支持流式输入和长篇合成,能挂进实时语音管线

怎么用?门槛在哪?

三条路,按动手成本从低到高:

  1. 直接玩:fish.audio 网页、iOS 和 Android App 已上线 Drama 3
  2. API:官方 API 的模型名是 drama-3,OpenRouter 也已上架
  3. 本地部署:fish-speech 代码仓库开源了推理代码,权重在 Hugging Face(fishaudio/drama-3)。注意门槛:FP8 量化也需要 48GB 显存的 NVIDIA GPU;在 H200 上用 SGLang-Omni 单流跑到 271 帧/秒(上一代 S2 是 177)

社区已经出现 GGUF、int4 等量化版本,显存有限的玩家可以关注后续进展,但这些是第三方衍生,非官方产物。

数据速览

| 维度 | S2(上一代) | Drama 3 |

| --- | --- | --- |

| 参数规模 | 未公开(S2-Pro 提供商用 API) | 35B MoE,激活约 3B |

| 单流推理速度(H200) | 177 帧/秒 | 271 帧/秒 |

| 指令控制 | 固定音频标签为主 | 自然语言说戏 + 标签 |

| 多轮返场 | 不支持 | 支持(备注即改) |

| 句中剪辑 | 不支持 | infill,只重生成改动窗口 |

| 输出采样率 | 44.1kHz | 44.1kHz |

不适用场景与避坑

  • 这是预发布版(Pre-Release),非正式版,生产环境谨慎
  • 官方明确说这是 open-weight(开放权重)而非 open source:Fish Audio Community License v1.0 规定研究和非商用免费;年营收低于 50 万美元的公司可免费商用;更大的商业使用需要单独授权。想拿去商用前先看许可证
  • 本地部署显存门槛高(48GB 起),消费级显卡暂时玩不了原版
  • 官方未公布绝对词错率(WER)数字,与竞品的对比都来自官方基准口径,自行选型建议实测

下一步

  • 想试效果:打开 fish.audio 或官方 App,输入一段带"导演笔记"的台词感受一下
  • 想集成:API 模型名 drama-3,注意预发布版定价和限流可能调整
  • 想自部署:GitHub 的 fishaudio/fish-speech 仓库 Release 页下载 v3.0.0-beta,权重从 Hugging Face 拉取;48GB 显存是入场券

参考来源

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...