EmbodiedGen V2:AI生成3D世界,机器人直接进去训练——仿真成功率从9.7%飙到79.8%
7月8日,arxiv上出现一篇重磅论文:EmbodiedGen V2。它不只是又一个text-to-3D模型,而是一个完整的生成式3D世界引擎——从单个物体到多房间场景,从视觉外观到物理交互,从生成到编辑到复用,一条管线全包。最硬核的数据是:用它生成的环境做在线强化学习,仿真成功率从9.7%飙到79.8%,迁移到真实机器人后任务成功率从21.7%提升到75.0%。
问题在哪:3D资产生成了,但机器人还是进不去
过去两年,text-to-3D和image-to-3D突飞猛进。Meshy、Tripo、TRELLIS这些模型已经能生成相当不错的单个3D物体。但问题来了:生成了物体不等于生成了环境。
要让机器人在仿真里训练,你需要的不只是一个3D模型文件。你需要:
- 物体放在哪、怎么摆
- 物理属性:质量、摩擦力、弹性
- 交互affordance:抽屉能拉开吗?门能推开吗?杯子能被抓起来吗?
- 任务定义:机器人要干什么、成功条件是什么
- 多个房间连通成可导航的场景
这些步骤目前几乎全是手工完成。3D生成解决了"造零件"的问题,但"组装成训练场"的活还是人在干。这就是具身AI规模化训练的核心瓶颈。
EmbodiedGen V2的解法:统一sim-ready表示
EmbodiedGen V2的核心思路是用一个统一的sim-ready表示把整个管线串起来。具体来说,它包含五个关键模块:
跨模拟器资产生成:生成的3D资产不是只有外观的模型,而是自带物理属性和碰撞体的仿真就绪资产,可以直接导入Isaac Sim、MuJoCo、PyBullet等主流模拟器。
交互affordance标注:自动标注物体可以被怎么操作——哪些面是可抓取的、哪些部件是可移动的。这让机器人策略知道"这个抽屉可以拉"而不是把它当成一块实心木头。
任务驱动世界生成:给定一个任务描述(比如"把红色杯子放到桌上"),自动生成对应的任务环境,包括物体布局、初始状态、目标条件。
大规模多房间场景生成:不只是单房间,能生成多个房间连通的可导航场景。
Vibe Coding:状态化编辑机制——你修改了场景的某个部分,修改是可追踪、可复用的,不会破坏其他部分。
整个管线是生成→编辑→复用的闭环,支持操作(manipulation)、导航(navigation)、移动操作(mobile manipulation)三大类具身任务。
数据说话:不是花架子
论文给出的评估数据相当扎实:
- 资产管线质量:96.5%的人类接受率(生成的资产看起来合理),98.6%的碰撞成功率(物理碰撞检测正确)
- 任务世界可用性:83.3%的任务驱动世界可以直接用于下游仿真,不需要人工修改
- 在线强化学习:在生成的环境中做在线RL训练,仿真任务成功率从9.7%提升到79.8%
- 真实迁移:把仿真训练的策略部署到真实机器人,任务成功率从21.7%提升到75.0%
最后这组数据最关键。很多3D生成工作止步于"看起来漂亮,但一到真实场景就露馅。EmbodiedGen V2的真实迁移数据说明:它生成的环境不只是视觉上像,物理交互层面也足够真实,能支撑sim-to-real迁移。
为什么重要:从"3D生成"到"3D世界引擎"
EmbodiedGen V2代表了一个重要的方向转变:
过去3D生成的叙事是"给我一段文字/一张图,我给你一个3D模型"。EmbodiedGen V2的叙事是"给我一个任务,我给你一个机器人能进去训练的完整世界"。
这个转变的意义在于:3D生成的价值锚点从"好看"变成了"好用"。一个3D杯子模型好不好,以前看渲染图;现在看机器人能不能正确抓起来放到指定位置。这种功能导向的评估标准,可能反过来推动3D生成质量的实质性提升。
对具身AI领域来说,训练数据一直是最大瓶颈。真实世界数据采集昂贵且危险,仿真数据又受限于场景多样性。如果3D世界引擎能按需生成无限多样的训练环境,具身AI的scaling问题就有了新的解法。
局限与待验证
- 论文7月8日刚提交arxiv,代码和模型尚未公开
- 评估主要集中在操作和导航任务,更复杂的长期任务(如多步骤烹饪)尚未验证
- 生成环境与真实场景的domain gap仍需更系统的量化
- "Vibe Coding"的具体机制论文中描述较简略,实际易用性待观察
---
*基于 arxiv 论文(arXiv:2607.07459)内容整理*