一张照片加一路语音,单张 H100 上 20.7 帧实时出人脸:Kyutai 开源 AURA,把数字人从「等一分钟」压到「说完就出」
先讲结论:3 分钟看懂
Kyutai(法国巴黎的开放研究实验室,做 Moshi、Hibiki 的那家)在 11 月 20 日开源了 AURA(AUdio-dRiven streaming Avatar),一组「语音驱动数字人」的视频生成模型。它做的是一件很具体的事:你给一张正脸照片和一段语音流,它一边听一边出说话的人脸视频,不用等整段音频读完。
两个关键数字:
- AURA 1.3B:576p,单张 H100 上端到端 20.7 帧/秒,对应 16 Hz 的播放帧率——也就是真的实时,比它自己的双向教师模型快 23 倍。
- AURA 5B:720p,单张 H100 上 9.7 帧/秒,比它的教师模型(Snap 的 TalkVerse 5B)快 17 倍,画质基本打平,但还达不到实时。
一句话:1.3B 换来的是「能挂在语音助手上实时对话」,5B 换来的是「画质更好但要排队」。两个权重都是非商用授权,这是这篇最需要先看清的一点。
本文所有参数与测试数字,均来自 Kyutai 官方博客、BMVC 2026 论文(arXiv:2611.26540)、官方代码仓库与 Hugging Face 模型卡;媒体侧的多家转述(AI Weekly、AI.info、TLDR 等)用于交叉核对同一组数字,未引入官方之外的新事实。
它到底解决了什么麻烦
在这之前,做「说话的数字人」有两条路,各有各的堵点。
第一条是高质量但慢的路。TalkVerse、Wan-S2V 这类模型用的是双向注意力:它要先把好几秒的音频全部拿到手,再对整段视频做 50 步左右的去噪,然后才吐出第一帧。论文里给的实测是:TalkVerse 5B 在单张 H100 上端到端只有 0.58 帧/秒,Wan-S2V 是 0.08 帧/秒,Hallo3 是 0.22 帧/秒。换句话说,生成 10 秒视频要花几十秒到两分钟——做片子可以,做对话不行。
第二条是实时但画质妥协的路。之前的因果流式方案基本只做「文生视频 / 图生视频」,没有把音频这条密集的时间对齐信号接进来;少数尝试把音频接进来的工作(14B 到 18B 参数),单卡只能跑到 2 帧/秒左右,还是进不了实时。
AURA 的切口就在这两条路之间:它把 50 步的双向教师蒸馏成 4 步的因果学生,让模型按块(chunk)往前推,并且只看当前这一块的音频,不需要几秒的前瞻。这带来两个直接后果:
- 延迟从「整段音频」降到「一块音频」。论文模型一块是 4 个 latent 帧(约 1 秒视频),所以端到端延迟约 2 秒;官方 demo 把块缩到 2 个 latent 帧(0.5 秒),延迟压到约 1.2 秒,代价是 demo 跑在 480px。
- 显存不随视频长度涨。它用一个滚动 KV 缓存,只留「第一块」(当作人物身份锚点)和「最近一块」,所以理论上流多长,显存都是常数。论文里直接跑了 60 秒连续生成来验证这一点。
两个型号怎么选
- AURA 1.3B:教师是从 Wan2.1-T2V-1.3B 出发、用 TalkVerse 那套流程训出来的 1.3B 双向模型,音频特征用 Kyutai 自己的流式音频编解码器 Mimi(和 Unmute 语音助手同一套表示)。输出 576p / 16 fps。合并后的权重约 6.3 GB(fp32)。权重授权 CC BY-NC 4.0。
- AURA 5B:教师是 Snap 的 TalkVerse-S2V-5B(本身建在 Wan2.2-TI2V-5B 上),音频特征用 wav2vec2-large-xlsr-53-english。输出 720p / 25 fps。合并权重 5.7B 参数、22.8 GB(fp32)。权重授权是 Snap Inc. 非商用许可,因为它是从 TalkVerse 权重蒸馏出来的。
也就是说,两个都不能直接商用。1.3B 用的是 CC 的非商用条款,5B 干脆继承 Snap 的非商用研究许可。想拿去做产品,得先去找 Kyutai / Snap 谈授权,或者自己换数据重训。
测试数据:赢在哪,输在哪
论文在 HALLO3 Test(100 段、每段 10 秒、英文语音)上给出的对照:
- AURA 1.3B:FID 56.8、FVD 177.1、JEDi 0.403、CSIM 0.84、Sync-C 4.07、帧间形变误差 0.0036。FVD 是全场最好,身份保持(CSIM 0.84)也是全场最好。
- AURA 5B:FID 56.9、FVD 195.5、JEDi 0.313、CSIM 0.79、Sync-C 4.30、形变误差 0.0032。JEDi(跨块不连续)比 1.3B 好一档。
- Hallo3(14.5B):FID 42.8 最好、JEDi 0.180 最好,但速度只有 0.22 帧/秒。官方博客自己补了一句:定性看 Hallo3 有明显夸张的嘴部动作和反复出现的手部伪影,这类分布指标抓不到。
- Wan-S2V(14B):口型同步(Sync-C 5.42、Sync-D 9.0)是全场最好,速度 0.08 帧/秒。
输了的地方要说清楚:AURA 的口型同步不是最强的。1.3B 的 Sync-C 是 4.07,5B 是 4.30,都低于 Hallo3 的 5.06 和 Wan-S2V 的 5.42。如果你做的是「特写、必须严丝合缝对上音素」的活儿,这套模型现在还不是首选。
还有一个官方自己做的人类评测值得看:27 位评审、400 次两两对比、100 段 HALLO3 片段。结论是 AURA 5B 在画质、口型、参考相似度、自然度四个维度都胜过 Hallo3;跟 50 步的教师比,参考相似度更高,其余三项基本打平——而它快 17 倍。这条比任何自动指标都更能说明「因果 + 4 步」没有把可用性搞坏。
一分钟不崩吗
数字人最怕的不是第一帧好看,是说到第 40 秒脸开始飘。官方对 100 段参考各生成 60 秒,按每 10 秒切段算指标:
- AURA 1.3B:FVD 六段基本平(179~186,均值 181.3),Sync-C 稳在 4.7~4.8。身份保持整体从 0.826 掉到 0.783,但官方说明这是少数片段漂移把均值拉下来的,逐条看中位数只变了 -0.02。
- AURA 5B:第一段之后 FVD 从 182 跳到 195~206 然后稳住,CSIM 从 0.764 滑到 0.713。也就是说 5B 的「长期一致性」弱于 1.3B,虽然它单帧质量更高。
这个反差挺反直觉:小模型反而更稳。原因是 1.3B 的块间跳变更小、教师更弱也更平滑;5B 追细节,长序列上更容易积累偏差。
怎么用:三步跑起来
仓库是 https://github.com/kyutai-labs/aura ,环境要求是 CUDA GPU + uv(不是 Apple Silicon,也不是纯 CPU)。
- 第一步,拉代码装环境:
git clone https://github.com/kyutai-labs/aura.git && cd aura && uv sync。首次运行会自动从 Hugging Face 拉最终检查点、Wan 的 VAE 与文本编码器、以及对应的音频编码器。 - 第二步,命令行直接生成:
uv run generate.py --image portrait.jpg --audio speech.wav --output out.mp4走 1.3B;加--model aura-5b走 5B。常用参数是--prompt(一句画面描述)、--num_chunks(长度,按 16 帧一块算)、--seed、--compile。 - 第三步,接进自己的服务:Python API 是流式的,
Aura("aura-1.3b").generate(图片, 音频)会一块一块 yield 出[3, frames, H, W]、范围在 -1 到 1 的张量,直接可以推给编码器。
关于 --compile 有个必须知道的口径差:论文的 20.7 / 9.7 帧是优化过的推理管线测出来的;仓库里这份参考实现开 --compile 之后,1.3B 大约 16 帧/秒(对 16 fps 播放算实时),5B 大约 8 帧/秒。想复现论文数字,得自己把管线优化到同等程度。
适用场景:谁该用
- 语音助手要一张脸:这是官方 demo 的用法——Unmute 做流式语音识别 + LLM 回答 + 流式 TTS,AURA 1.3B 把 TTS 的声音实时变成人脸。整条链路里,AURA 用的是和 TTS 同一套 Mimi 表示,所以「跟着声音走」这件事是对齐的。
- 直播 / 客服 / 教学这类长时间口播:滚动 KV 缓存让显存恒定,60 秒实测没有崩,做十几分钟的连续讲解在工程上是可行的(官方只说「60 秒以上可行」,没给更长时长的完整指标)。
- 研究与非商用原型:权重、代码、30K 条合成视频的数据集(含教师轨迹)全都放出来了,做蒸馏、流式生成、口型对齐的研究,这是目前少见的完整复现包。
- 要在本地或私有环境跑:单卡 H100 就够,不需要集群。
不适用场景:这些现在别碰
- 商用产品。1.3B 是 CC BY-NC 4.0,5B 是 Snap 非商用许可,直接上线是违约。别看到「开源」两个字就当成 Apache 2.0。
- 必须严格对口型的活儿。Sync-C 落后 Hallo3 和 Wan-S2V,特写镜头会看出来。
- 中文、日语、非英语语音。论文明确写:训练与评测都是英文语音驱动的说话人头像,其他语言、非语音音频、非正脸构图都未测试。这不是「效果差一点」,是「没验证过」。
- 要 720p 又要实时。5B 的 9.7 帧对 25 fps 播放来说只有约四成,做不到实时;要实时就退回 576p 的 1.3B。
- 极低延迟(<0.5 秒)的对话。demo 把块缩到 0.5 秒后延迟约 1.2 秒,这已经是它的下限区间;再往下要动架构,不是调参能解决的。
避坑与注意事项
- 步数不能省。官方消融很直白:4 步是默认;降到 3 步、2 步,FVD 只是略差,但「人脸锐度」从 50.4 单调掉到 37.5、36.5;降到 1 步,FVD 直接飙到 229.2、锐度 27.0、身份保持掉到 0.65。也就是说分布指标看不出模糊,人眼一眼能看出。别为了省时间砍到 1~2 步。
- 输入照片要正、要占画面。官方说正方形或横向、脸占画面比例大的照片效果最好;脚本会把图缩放并中心裁剪到最近的训练分辨率,构图不对会被裁坏。
- 1.3B 的音频编码器是 Mimi,5B 是 wav2vec2。两个模型不是同一套音频前端,混着接会出问题;仓库里的
aura/audio.py分开实现了两套。 - 非商用许可要逐个看。代码本身建在 TalkVerse 与 Wan2.2 之上;Wan 的 VAE 和 T5 文本编码器是 Apache 2.0,Mimi 和 wav2vec2 各自有自己的条款,权重才是非商用。上线前要把这几层分开核。
- 别拿它做真人冒充。官方在仓库里单独写了 Responsible use:只对获得同意的肖像做动画,并且要标注是 AI 生成。
成本与时间
- 硬件:单张 H100 就能跑实时;论文的训练用了 64 张 H100(两阶段都只训 LoRA,rank 128)。
- 显存:1.3B 合并权重约 6.3 GB、5B 约 22.8 GB(都是 fp32),再叠加 VAE、文本编码器与激活;官方没给完整的峰值显存数字,实际部署要自己压一遍。
- 时间:论文口径下 10 秒视频在 1.3B 上是一秒内出(20.7 帧/秒);参考实现开
--compile约 16 帧/秒,5B 约 8 帧/秒。首次运行还要加上从 Hugging Face 下载权重的时间。 - 钱:模型本身免费下载,成本就是 GPU 机时;商用授权费用官方未公布,需要单独联系。
行动建议
- 第一步,先跑 1.3B 的 demo 看观感:https://aura.kyutai.org/ 是官方在线 demo(当前跑 480px),选一张脸、点一下说话,先确认「1.2 秒延迟 + 576p 画质」这个组合你能不能接受,再决定要不要上机器。
- 第二步,拉仓库用自己的一张正脸照 + 一段 10 秒英文语音跑通:这一步主要是验证环境(CUDA、uv、权重下载)和输入构图,跑通了再谈接服务。
- 第三步,如果要做产品,先去谈授权:把 1.3B(CC BY-NC)和 5B(Snap 非商用)分别列出来问,同时确认代码依赖里 Wan2.2 / Mimi / wav2vec2 的条款各自是什么。
参考来源
- Kyutai 官方博客:https://kyutai.org/blog/2026-11-20-aura/
- 论文(BMVC 2026):https://arxiv.org/abs/2611.26540
- 代码仓库:https://github.com/kyutai-labs/aura
- 模型权重:https://huggingface.co/kyutai/AURA-1.3B 、https://huggingface.co/kyutai/AURA-5B
- 数据集:https://huggingface.co/datasets/kyutai/AURA-Dataset
- 在线 demo:https://aura.kyutai.org/