ARDY：NVIDIA 让 AI 动作生成既实时又可控，SIGGRAPH 2026 论文详解
NVIDIA Research 在 SIGGRAPH 2026 上发表了论文 ARDY（Autoregressive Diffusion with Hybrid Representation），提出了一种流式人体动作生成框架，首次在实时交互场景中实现了高保真、多模态可控的 3D 人体动作生成。
实时和可控，为什么一直难兼得？
AI 生成人体动作的研究近年来进展很快，但一直存在一个核心矛盾：离线方法精度高但速度慢，在线方法速度快但控制力弱。
离线扩散模型（如 MDM、MotionDiffuse）可以通过文本和运动学约束精确控制动作，但单次推理需要几秒甚至几十秒，完全无法用于实时交互。而现有的在线方法虽然能实时生成动作，却因为上下文窗口有限，难以理解复杂的文本语义和长程目标，导致生成结果要么机械重复，要么偏离意图。
对于游戏、虚拟人、人形机器人这些需要"边生成边交互"的场景，这个矛盾是致命的。
ARDY 的核心思路
ARDY 的名字来自 AR（自回归）+ DY（扩散），核心思想是用自回归做流式推理，用扩散做高保真去噪。具体来说：
混合表示。 ARDY 把人体动作拆成两部分：根节点（骨盆位置和朝向）用显式特征表示，身体细节用潜编码表示。显式特征保证轨迹精确可控，潜编码让生成模型学习更高效。这种"粗细结合"的设计，让 ARDY 同时做到了轨迹跟踪准和动作细节丰富。
两阶段自回归 Transformer 去噪器。 第一阶段用可变长度的历史上下文，第二阶段支持灵活的长程运动学约束（比如"5秒后左手举过头顶"）。因为约束直接来自训练时的真实姿态采样，ARDY 不需要额外的分类器引导，就能自然地学会可控生成。
直接条件化训练。 模型在大规模动捕数据集上训练时，直接以文本标签和运动学约束为条件，而不是事后用分类器去引导。这让 ARDY 天然支持在线文本提示和灵活的长程目标。
效果：不止跑分，还能玩
ARDY 在两个数据集上做了评估：经典的 HumanML3D benchmark 和新的大规模高保真 Bones Rigplay 数据集。论文显示，ARDY 在动作质量和约束遵守度上都达到了领先水平。
更直观的是交互演示。在 NVIDIA 提供的 demo 中，用户可以：
- 动态文本控制：输入"人物开始慢跑，然后跳跃"等文本，角色即时响应
- 关键帧姿态约束：指定某些时间点的姿态，模型自动填充中间动作
- 路径跟随：给角色画一条路径，它会沿着路径走出自然的动作
- 鼠标键盘操控：像玩游戏一样用键盘控制角色移动，角色自动生成自然的行走和转向动作
谁能用上？
- 游戏开发者：实时角色动作生成，替代手K动画或有限状态机
- 数字人/虚拟主播：交互式编舞和动作驱动，让虚拟角色"说走就走"
- 人形机器人：从文本到动作的实时规划，用于具身智能
- 动画师：快速原型和交互式预览，加速创作流程
总结
ARDY 证明了"实时"和"可控"不是零和博弈。通过混合表示和两阶段自回归扩散架构，它在保持实时推理速度的同时，提供了文本、关键帧、路径、键盘等多种控制方式。代码和模型将在 NVIDIA Research 项目页开源。对于任何需要"让角色动起来且听指挥"的场景，这都是一个值得关注的进展。
---
论文：[arXiv 2607.08741](https://arxiv.org/abs/2607.08741)
项目页：[research.nvidia.com/labs/sil/projects/ardy/](https://research.nvidia.com/labs/sil/projects/ardy/)
发表：ACM Transactions on Graphics (SIGGRAPH 2026)
团队：Kaifeng Zhao, Mathis Petrovich, Haotian Zhang, Tingwu Wang, Siyu Tang, Davis Rempe（NVIDIA Research / ETH Zürich）