ELMA：AI 生成动作总记不住前面的指令，NeurIPS 2026 新基准给长时动作生成立了及格线

> 先讲结论：让 AI 跟着文字指令做动作，单独一句"挥手"它做得挺好，但要是说"先挥手，然后保持刚才那个姿势转个圈"，它就会把前面的要求忘得一干二净。10 月 9 日提交到 arXiv 的 ELMA 基准，专门给这个"金鱼记忆"问题立了及格线，并且已经被 NeurIPS 2026 数据集与评测赛道接收。

这是什么

ELMA 是一套长时文字生动作的评测基准加数据集，瞄准的是一个叫"回指式多段指令"的新任务。所谓回指，就是后面的指令会指回前面说过的东西——比如"举左手，转一圈，保持刚才那个动作走出去"。模型必须记住"刚才那个动作"是什么，才能做对后面这段。

论文配套发布了同名数据集：从真实网络视频里，用全自动的收集和过滤流水线抽取高质量的 30 秒连续动作片段，每段都带段级别的密集标注，把跨段依赖原原本本保留下来。模型拿这张考卷一考，短片段的漂亮分数就不够看了。

为什么重要

数字人、虚拟主播、动作替身这些场景要的不是 3 秒短视频，而是连续好几分钟、边说边动的长时动作。过去一年动作生成模型进步很快，但评测大多停留在短片段上——单段指令做得再顺，也回答不了"多段指令互相牵扯时会不会崩"这个问题。ELMA 把这个盲区变成了可以量化的考题。

怎么做到的

1. 自动流水线：不从零标注，而是从野外视频自动收集、过滤、切片，压低成本拿到大规模连续片段；
2. 段级标注：不是给整段视频打一个标签，而是每个 30 秒片段内部再切细分段，段与段之间的指代关系显式保留；
3. 微调现役模型：用 ELMA 数据集微调当前最强的动作生成模型，让它们学会带着"长程上下文"做动作。

实验发现了什么

论文的大规模实验给现有模型泼了冷水：面对带跨段依赖的指令，当前模型暴露出根本性的短板——不是"差一点"，而是结构上就没这个能力。而用 ELMA 微调之后，模型在全局物理真实感和语义对齐两个维度都有明显提升，为这个新任务立下了第一个稳健的基线。

同期动态

同一天还有一项相关进展：Sonic-AMG（arXiv 2610.13300，10 月 9 日提交）提出首个从空间音频流式生成人体反应动作的框架——人听到声音会自然做出反应动作，而且是在"还没听到后面放什么"的情况下实时反应的。它解决的是"边听边动"，和 ELMA 的"长指令不忘事"正好是动作生成这条路上两个不同的前沿。

怎么用 / 适合谁

• 数字人 / 虚拟主播团队：如果自家动作用的是动作生成模型，ELMA 的评测思路可以直接拿来当回归测试卷，看看模型在多段指令下掉多少分；
• 动作生成研究者：数据集加基准可以直接用，第一步是把 ELMA 数据集接入自己的训练流程，复现论文的微调提升；
• 动画 / 游戏制作团队：短期内更多是观察指标——等基于 ELMA 微调的开源模型出现，长时动作初稿的质量值得重新评估。

提醒

参考来源

• ELMA 论文页：<https://arxiv.org/abs/2610.13549>（2026-10-09 提交，NeurIPS 2026 数据集与评测赛道接收）
• Sonic-AMG 论文页：<https://arxiv.org/abs/2610.13300>（2026-10-09 提交）

本文基于公开论文信息整理。