语音模型

Drama3 换了新版权重:那些「停顿卡半天」和「情绪出不来」被修掉了,T8 的 V24 整合包整套换模型

2026年11月10日3 次阅读
Drama3 换了新版权重:那些「停顿卡半天」和「情绪出不来」被修掉了,T8 的 V24 整合包整套换模型

> 先讲结论:Fish Audio 的 35B 语音模型 Drama3 在 10 月底放出了新版权重,主打修掉「说话长时间卡顿」和「强情绪演不出来」这两个老毛病;B 站 UP 主 T8star-Aix 在 11 月 9 日发了新老模型对比实测,同时把本地整合包更新到 V24——但模型整套换新,旧包不能原地升级。

这次更新到底动了什么

Drama3 是 Fish Audio 面向多角色场景、长文本和配音工作流做的语音合成(TTS)模型:35B 参数、MoE 结构,每个 token 只激活约 3B,支持最多 16 个说话人标签、83 种语言,以及用自然语言给你「说戏」。它在 10 月 13 日首次开放,模型卡在 10 月 29 日又更新了一版权重(仓库里那次提交写的是清理旧分片、更新说明)。

T8 在视频里讲的正是这一版。他说之前做 ComfyUI 节点和整合包时就发现两个对不上的地方:

  • 有些句子中间会停非常长,明显不像正常人换气;
  • 该爆发的强情绪被抹平了,和官方演示的效果有差距。

按他的说法,官方这次的新模型让音效和音色克隆都往上提了一截,并且在语音竞技场的榜单上排到了第一。这一点属于作者转述榜单结论,本文没法独立复核具体名次,只能确认官方模型卡确实把「多说话人 + 情绪化语音 + 音频编辑」列为核心能力。

视频是怎么对比的

整段测评没有堆参数,用的是同一批「打工人 vs 老板 vs 猫总监」的短剧台词,做新老模型 A/B:

  • 中文段:AI 替人上班、自动回复消息、拒绝没必要的会,最后反手给自己申请年假;
  • 英文段:同一套设定的英文版,用来听跨语言时的口音和重音;
  • 日文段:「猫が社長になりました、会議は昼寝の後です」这种带画面感的短句;
  • 方言段:一句四川话「老板,莫催嘛,猫都下班了,你还开啥子会哦」。

听完这批对比,T8 自己的总结是:不自然的停顿基本修好了,情感饱和度、配音感、去噪感都更好;但仍然有需要抽卡的地方——也就是同一条台词可能要生成几次才满意。

这种测法其实比跑 WER 数字更贴近使用者。做短剧、有声书、游戏配音的人,真正卡住进度的不是字错率,而是「一句话里的情绪对不对」和「有没有奇怪的停顿」。

T8 整合包 V24 改了什么

这次整合包不是一个补丁,而是一次大版本:

  1. 模型整套换新:主模型和两个配套文本头一起同步到官方 10 月 29 日的权重。T8 在视频里反复强调「方便的话重新下载」,因为旧包里的模型不能直接替换成新效果。
  2. 节点与工作流一起更新:ComfyUI 节点和画布工作流此前很久没动,这次同步更新;整合包支持一次生成多条台词,方便挑。
  3. 老显卡适配:不少人反馈旧卡架构不同、编译阶段就报错、直接起不来,这次做了兼容处理;如果还不行,他的建议是让 AI agent 帮你读日志排查。
  4. 转写依赖重做:配音转文字那一段涉及 Confucius(R2T2)这套本地转写,运行库随之调整,需要按新版本重装原生依赖。
  5. 加速仍不算快:作者明确说还没到「特别快」,后续会继续更。

一个细节值得记:他在 RunningHub 上挂的两个在线工作流还是老模型版本,新模型最快次日才更新。想直接在线试新版的人,别拿线上的结果当新版效果。

怎么用:想自己跑,需要准备什么

按 T8 的模型仓说明,本地生成至少需要三样东西:一个主模型、音频 Codec、以及选定或回退的文本头。主模型有两种规格:

  • FP8 主模型约 38.6 GB,走 models/diffusion_models/;
  • W4A8 主模型约 24.6 GB,是体积更小的备选;
  • Codec 约 1.57 GB,放 models/vae/;
  • 文本头分精简版(8 KB)和完整版(1.03 GB)。

另外还有可选的 Qwen3-ASR 转写、强制对齐、VAD 和说话人模型——手填准确台词的话,这些可以不装。官方也给了 SGLang-Omni 和 vLLM-Omni 的部署方式,适合有卡、有运维能力的人自己起服务。

如果显卡不大,社区还有另一条路:第三方 ComfyUI 端口把 90% 的专家权重放在系统内存里、GPU 只缓存正在用的部分,标称 8GB 显存起,代价是需要 32–48GB 内存,速度也依赖内存带宽。这条路和 T8 的原生整合包不是同一套东西,别混着装。

适用场景与不适用场景:谁该升级,谁可以先等等

适合现在就动的人:

  • 已经在用 T8 整合包做短剧、有声书、口播配音,且对停顿和情绪一向不满意;
  • 有 24GB 以上显存、或愿意接受内存换显存方案的本地玩家;
  • 需要多角色同场景、多语言切换的内容团队。

可以先不折腾的人:

  • 只用在线 API 的:官方托管服务本来就会跟着模型走,不需要本地部署;
  • 只想「听个响」的:先看 T8 视频里的对比片段,比下载 40GB 权重划算;
  • 显存 8GB 以下、内存 32GB 以下的机器:就算跑起来,生成速度和抽卡成本也会很难受。

避坑:几个容易踩的坑

  • 旧包不能原地换模型:V24 是整套权重替换,直接覆盖文件容易版本对不上,建议按发布说明更新代码、再单独拉模型。
  • 文本头要一起换:主模型和两个文本头是配套的,只换主模型会出现奇怪的表现。
  • 线上工作流是旧的:RunningHub 上那两个版本还是老模型,别拿它判断新版效果。
  • 抽卡依然存在:作者自己承认仍有需要重生成的句子,别期待一次成型。
  • 授权要看清楚:官方权重用的是 Fish Audio 研究授权,不是随便商用的 Apache 类协议;第三方端口另有 GPL-3.0 的代码授权。

顺带一提:平台那摊事

视频后半段 T8 花了不小篇幅讲算力价格:这段时间平台改了计费,很多人反馈积分不够用、部分定价不合理;他的说法是之前长期靠补贴压价,现在回到相对正常的价格,涨价没办法,但一些明显不合理的设定他已经在跟平台各部门沟通,部分已改;客服态度出问题的人员当天被处理。这部分属于平台运营信息,和模型能力无关,但如果你正在用他推荐的平台,值得知道。

行动建议

第一步,先看视频里那四组对比(中文、英文、日文、方言),确认新版在你关心的语种上确实变好;第二步,如果决定上手,去 T8 的模型仓按「主模型 + Codec + 文本头」三件套下载,代码用 0.3.3 或更新版本;第三步,用你自己的一段真实台词做小样,别用官方示例句,因为停顿问题往往只在长句和情绪转折处暴露。

参考来源见文末。

参考来源

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...