真人跑一遍,卡通角色跑出它的味道:迪士尼把动捕改写成了风格迁移,但只给论文不给代码
11 月 16 日,迪士尼研究院(DisneyResearch|Studios)和 ETH 苏黎世在官网挂出一篇新论文《Cartoon Motion Model》,标注为 ACM SIGGRAPH Asia 2026。它要解决的问题很具体:真人动捕拍出来的动作太「真实」了,而动画电影里的角色是夸张的——跑起来步频快得离谱、跳得比人高、关节弯折不按物理来。把前者直接套到后者身上,出来的东西一眼就假。
这篇论文的做法不是「再训一个更强的动作生成模型」,而是给已有的真人动作模型加一层「风格转接头」,让它在保留原动作骨架的同时,把动作的「味道」换成某个卡通角色的。用作者的话说,这是第一个按「生产级动画对风格的定义」来做的生成式动作风格迁移方法。
3分钟看懂
一句话先说结论:它把「真人动捕 → 卡通角色动作」变成了一件可以调参数的事——你想让角色多夸张、多贴近原动作,各有一个旋钮。
三件事值得记住:
- 不重新造轮子:底模是拿约 40 小时真人电影动捕训出来的通用动作扩散模型(MDM 那一脉的 transformer),迪士尼只在上面加了一个很轻的适配器,用自家约 8 小时的手 K 动画数据去「掰」它的风格。
- 数据少得可怜:可见性过滤之后只剩 5.3 小时有效动作,其中只有 46% 的关节真正在画面里;片段中位长度 1~2 秒(学术界常用的 HumanML3D 平均约 7.1 秒)。所以它的核心贡献其实是怎么在这么脏、这么少的数据上不训崩。
- 只发论文:代码、权重、数据都没放,只给了 13 页 PDF 和一段演示视频;论文本身是 CC BY-NC-ND 4.0(署名-非商业-禁止演绎)。想用,现阶段只能自己按论文复现。
它到底做了什么
整条链路可以拆成三层:
第一层:把生产数据洗干净。 手 K 动画和动捕是两种东西。动画师会为了「挤压拉伸」随意改骨骼比例,镜头外的部位经常没画完,动作还带大量瞬移式的夸张。论文的做法是用光线投射判断每个关节在这一帧是否可见,不可见的关节在损失函数里按「离可见关节每远一节就乘 0.7」衰减权重;再过滤掉静止段和快到离谱的段。过滤后每个角色的可用帧数差异极大:主角 A.1 从 67,912 帧筛到 35,630 帧(约 24.7 分钟),B.1 从 100,463 帧筛到 51,458 帧(约 35.7 分钟),群众角色的风格片段则来自一个约 8 小时的背景动画库。
第二层:一个「最小耦合」的 ControlNet。 常规 ControlNet 会在每一层都注入残差,作者试过,在这个小数据上适配器会直接压过底模,生成崩掉。他们改成只在底模的最后一层注入风格残差,再用零卷积把一个 one-hot 的角色 ID 编进去——相当于告诉模型「这次要 A.1 的身材和动作习惯」。这样做还有个好处:不需要成对的「同一动作的动捕版 + 手 K 版」。
第三层:推理时的频谱「提线」。 这是全文最巧的部分。把一段源动作做 DCT(离散余弦变换),低频部分对应轨迹和大动作,高频部分对应手脚节奏、身体抖动这些细节。作者设定一个能量阈值 κ:累积能量到 κ 之前的低频成分,原样保留(这是「内容」);剩下的高频成分,交给模型自由生成(这是「风格」)。再加一个 γ 控制夸张程度——本质上是在放大适配器残差的幅度。为了让长短不一的片段能接起来,还做了一个滑动窗口的混合,窗口长度 30 帧。
两个旋钮到底怎么用
- κ(一致性):调高,生成的动作更贴原动捕的轨迹和大动作,风格化更弱;调低,模型更放飞,风格更浓但可能跑偏。论文里跑步片段用的是 κ = 0.4。
- γ(夸张度):调高,动作的细节幅度被放大,看起来更「卡通」。论文的定量实验测了 γ = 1.0 / 1.25 / 1.5 三档。
要注意的是,这两个参数不是自动的。作者在讨论部分明确写了:对非位移类动作(原地动作、上肢动作),需要手动调 γ 和 κ,因为模型对脚部接触和地面约束处理得不够好,滑步会更明显。而「自动风格化任意动作」被列在 future work 里。
数字上到底赢了多少
评测集中在角色 A.1 上,指标三个:KID(越低越好,衡量生成动作与真实风格的分布距离)、FS(足部滑移,越低越好)、RV-MSE(根节点速度误差,越低越好)。
- SMooDi:KID 0.054 / FS 1.199 / RV-MSE 1.257
- LoRA-MDM:0.077 / 1.246 / 1.254
- 直接微调 MDM:0.084 / 1.388 / 1.261
- 本文 γ=1.0:0.072 / 1.164 / 1.253
- 本文 γ=1.25:0.064 / 1.166 / 1.256
- 本文 γ=1.5:0.058 / 1.099 / 1.258
KID 上 SMooDi 略低(0.054),但作者指出它是靠更重的 ControlNet 结构过拟合了这套小数据,演示视频里会出现「硬拗」——把直线的跑步硬塞进圆形轨迹,转向突然且生硬。本文的 KID 略高,但足部滑移全场最低,且一个模型能覆盖多个角色,LoRA 方案则是一个角色训一个。
用户实验:32 名被试、50 组随机对比样本,本方法对 LoRA-MDM 的偏好率 80%、对 SMooDi 82%、对微调 MDM 92%;γ=1.25 和 γ=1.75 两档之间是 47% 对 53%,基本打平——说明夸张度超过某个点后,人的主观感受就不再提升了。
训练成本也算克制:底模 5 天,适配器 2 天,用的是 RTX 4090 / 5090 这一档消费级卡,不是集群。
为什么这件事对编舞和动作生成有意义
舞蹈是「真人动作 → 夸张角色」这条链上最难的场景:动作快、肢体接触多、风格差异大,还要求节奏卡点。过去做 AI 编舞,通常是两条路——要么生成一段「物理上说得通」的骨骼动作(站内写过的 FlashMotion、FFMT 都属于这条线),要么用视频模型直接出画面(可灵、Seedance 那类)。中间那层「把真人舞者的动作改写成某个角色的动作语言」,一直靠动画师手工 retarget + 手调曲线。
这篇论文把这一层参数化了:低频保内容、高频给风格,夸张度可调。论文里明确列出的应用包括把真人表演 retarget 到角色、以及角色之间的动作迁移(character-to-character motion transfer),后者正是「一个舞者的动作分给一群不同体型角色」的技术底座。
但要说清楚:它的定量评测基本围绕位移类动作(跑、走),舞蹈这种原地为主、接触密集的动作,作者自己承认还需要手调,且滑步问题更明显。所以现阶段它是「方法论上的一个明确进展」,不是「明天就能拿去排舞的工具」。
怎么用
现在拿不到代码,能做的有三件事:
- 读论文抄思路:频谱拆分(DCT 低频当内容、高频当风格)+ 只在最后一层注入残差的轻量 ControlNet,这两个技巧不依赖迪士尼的数据,可以套到任意 MDM 系动作模型上。PDF 是公开的,13 页,方法部分写得比较实。
- 用现成开源替代做同类事:如果想立刻上手「把真人动作变成角色动作」,站内写过的 PartLock-CMU(实时文生动作,Apache 2.0)和 FlashMotion(4 步采样、代码权重全放)都能跑;纯 retarget 的话,SOMA Retargeter、UMR 这类工具链更直接。
- 盯后续放码:迪士尼研究院过去的习惯是论文先出、代码后补(有的补,有的不补)。关注项目页和作者主页是唯一可靠的办法。
适用场景
- 动画电影/剧集的前期:把演员的表演动捕快速「试」到不同比例的角色身上,看风格对不对,再决定要不要精修
- 游戏里的群体动画:一套动作分给体型差异大的角色(矮胖、瘦高),不用每个角色单独做 retarget
- 舞蹈/表演类内容的预演:先把编舞的动作语言换成目标角色的风格,再交给动画师调整
- 研究复现:想在小数据上做风格适配,这篇的「最小耦合 + 可见性加权损失」是可直接借用的工程经验
不适用场景
- 要开箱即用的产品:没有代码、没有权重、没有 API,许可证还禁止演绎和商用
- 整段舞蹈的自动化风格化:作者自己说非位移动作需要手调 γ/κ,滑步问题未解
- 要求物理严格正确的场合:论文的目标是「艺术上像」,不是「物理上对」;脚部接触、地面约束都还在 future work 里
- 超长镜头的稳定输出:30 帧窗口 + 滑窗混合,长序列靠拼接,接缝处的稳定性论文没有给出量化指标
避坑
- 别把「论文上线」写成「产品发布」:这是学术会议论文,演示视频里的效果是挑过的片段,不等于任意输入都能出这个质量。
- 许可证要看清:论文是 CC BY-NC-ND 4.0,意思是不能商用、不能改作衍生作品再发布。论文里的图(含 Disney/Pixar 角色)版权归迪士尼,转载要谨慎。
- 数据不可得:训练用的两部电影的 hand-animated 序列是迪士尼内部资产,外部无法复现同一效果,只能用自己的数据重训适配器。
- γ 不是越大越好:用户实验显示 γ=1.25 和 1.75 偏好率打平,再往上只会放大伪影。
- κ 调低会「跑题」:低频保留得少,模型可能生成和原动作无关的动作,舞蹈这种强调动作记忆点的场景尤其明显。
成本和时间
- 论文阅读:13 页,方法 + 实验部分约 1 小时能读完,附录有完整超参
- 自己复现:底模可换成任意开源 MDM 系模型(预训练权重公开),适配器按论文是 2 天单卡;数据准备才是大头——需要几十段到几小时的手 K 动画,且要做可见性标注
- 商用路径:等代码和授权,或走迪士尼的授权合作,别指望直接拿论文里的东西进项目
行动建议
第一步:先把 PDF 下下来读第 3、4 节(数据清洗 + 适配器设计),这两节是可以直接搬的工程细节。第二步:如果你的目标是「真人舞蹈 → 角色动画」,先用 PartLock-CMU 或 FlashMotion 搭一条能跑通的基线,再考虑要不要按这篇的思路加风格层。第三步:把「频谱拆分 + 单层残差注入」记进技术选型清单——这两个思路对数据量小的团队特别友好。
参考来源
- 官方研究页(2026-11-16):https://studios.disneyresearch.com/2026/11/16/cartoon-motion-model/
- 论文 PDF(13 页,CC BY-NC-ND 4.0):https://studios.disneyresearch.com/app/uploads/2026/11/Cartoon-Motion-Model-Publication.pdf
- 论文演示视频(官方页内嵌):https://www.youtube.com/embed/NxXeOPVVRGE