ARMS：让AI动作生成在独舞与双人互动间无缝切换
想象你在用AI给虚拟角色编一段舞：先是独舞，然后舞伴加入互动，最后又各自分开。听起来很自然，但现有AI动作生成工具几乎做不到——它们要么只生成单人固定长度片段，要么只做双人互动片段，一旦需要"独舞→互动→分开"这种动态切换，动作就会断裂、穿模、空间错乱。
7月7日发布在arXiv的ARMS（Anchor-Relational Motion Streaming）框架，首次用一个统一模型解决了这个问题，论文已被ECCV 2026接收，代码已开源。
现有方法的瓶颈
目前主流的人体动作生成方法有一个共同限制：它们生成固定长度的动作片段，且假设参与人数不变。这意味着：
- 单人动作生成器无法处理双人互动
- 双人互动生成器无法退化为单人模式
- 长序列需要拼接多个片段，过渡处容易出现不连贯
在真实应用中，人不会一直独处，也不会一直互动——动作流是动态的。这个gap一直没人好好解决。
ARMS的核心思路
ARMS的关键创新是dynamics-asymmetric表示：把每个人的动作分解为两部分——自己的时序演化（Anchor），以及与伙伴的空间对齐关系（Relational）。
具体来说：
1. 解耦个体与关系
每个人有自己的时序流，同时通过一个"partner-referenced相对平移项"来编码两人之间的空间关系。这样当需要从互动切换到独处时，只需关闭关系项，个体动作不受影响；反过来，加入互动时打开关系项，空间一致性自然恢复。
2. 因果关系扩散模型
ARMS用扩散模型逐段生成动作，但只依赖过去上下文——这是真正的流式生成，不需要看到未来。一个Causal Relational Diffusion Transformer对每段动作做去噪，同时捕捉个体时序依赖和人际关系。
3. 模式感知门控
同一个模型通过Mode-Aware Relational Gating来切换模式：互动时打开跨人连接，独处时屏蔽。不需要切换模型，不需要重新初始化，一个框架搞定两种模式。
实际效果
论文实验显示：
- 在solo→interaction→solo的过渡场景中，ARMS的过渡平滑度和社交一致性明显优于交互专用基线方法
- 在标准双人交互benchmark上，ARMS也达到了竞争性结果——不是牺牲互动质量来换过渡能力
- 生成的动作无需后处理（如平滑或去滑步），直接可用
项目页面展示了多种场景的生成结果：单人行走、双人互动、以及solo↔interaction的连续切换，动作连贯自然。
谁能用上
- 数字人/虚拟偶像：需要长时间连续动作直播或表演，角色需要自然地在独处和互动间切换
- 游戏NPC：NPC从巡逻（solo）切换到与玩家对话/战斗（interaction），动作不再突兀跳变
- 编舞工具：从文本描述生成包含互动的编舞序列，比如"舞者独舞→舞伴加入→双人旋转→分开"
- 社交机器人：需要理解何时该互动、何时该独处的场景
局限与展望
ARMS目前主要验证了文本驱动的场景，双人以上多人互动尚未涉及。此外，流式生成的质量依赖预训练VAE编码器，如果编码器对某些动作类型表达不足，生成质量会受影响。
但这个方向的意义在于：它把AI动作生成从"片段拼接"推向了"流式连续生成"，从"固定人数"推向了"动态人数"。对于需要长时间、动态场景的数字人应用来说，这是一个实质性的进步。
---
来源：Huakun Liu et al., "ARMS: Anchor-Relational Motion Streaming for Seamless Solo-Social Motion Transitions", arXiv:2607.05733, 2026年7月7日发布，ECCV 2026接收。项目页：hkliu.com/arms，代码：github.com/kk9six/arms