生图3D类

机器人总在「杯子被挡住」时失手:这家公司干脆造了 1 万间屋子,专门生成它练不好的那一帧

2026年11月9日2 次阅读
机器人总在「杯子被挡住」时失手:这家公司干脆造了 1 万间屋子,专门生成它练不好的那一帧

3分钟看懂

先说结论:11 月 6 日,一家叫 Physicl 的法国/美国团队宣布拿到 1000 万美元种子轮(Inovia Capital 领投,US Venture Partners 参投),同时发布了第一款产品 Studio。它做的事情可以用一句话说完:你描述模型出错的那个场景,它把那个场景造出来,改一个条件渲上千遍,每一帧都附带精确的 3D 标注。

这不是又一个「AI 生成 3D 模型」的工具。它的产出不是给设计师看的资产,而是给机器人、世界模型、视觉模型训练用的数据。

它想解决的问题很具体:机器人抓杯子,十次成功九次。第十次为什么失败?因为杯子被袋子挡住了一半,或者因为傍晚的斜阳扫过台面,或者因为相机比训练时低了 3 厘米。这些情况在真实世界里都 rare——你没法预约一次「刚好一半挡住」的抓取,也没法要求太阳停在某个角度不动。

而 Studio 的做法是把这类场景变成参数:从一个由真实几何搭建的库(官方称 10,000 个环境 + 100,000 个底层资产)里挑一个匹配的房间,然后把「遮住多少」「几点钟的光」「相机多高」这些条件单独拎出来,一个条件一个条件地变。变完渲染,渲完带标注导出。

官方自己不把它叫「生成式模型」,而是强调标注是算出来的:深度、法线、分割、包围盒、相机位姿都直接来自渲染这个画面的那个 3D 场景本身,不是事后用模型猜的——所以杯子被挡掉一半、站在暗角里,标注也不会错。

目前 Studio 处于 beta,免费,面向实验室、高校和做视觉/世界模型/机器人的公司,按批次放人。

它到底卡在什么痛点上

先把「数据不够」这个说法拆开。机器人团队今天拿数据的路大概三条:

  • 真机遥操作:最准,最贵,最慢。你采到的永远是你想得到去采的场景。
  • 真实拍摄 + 人工标注:一辆车扫一条街,回来标框、标分割。长尾场景靠运气撞。
  • 程序化随机化(domain randomization):便宜、可控,但代价是场景变得不真实——把纹理、光照、物体位置乱拨,模型学到的东西也一起失真。

长尾的问题在这三条路上都无解,因为它有三个同时成立的性质:稀有(拍不到)、不可复现(撞上了也没法只改一个变量再拍一次)、难以精确标注(越是被遮挡、越是暗,标注越容易错,而这恰恰是模型出错的地方)。

Physicl 创始人 Alex de Vigan 之前做了十年 nfinite,给大型零售商把真实商品和房间数字化——那套东西是「把杂乱的真实信息变成高保真 3D 表示」。他说后来找上门的不是零售商,而是机器人实验室和世界模型团队:他们不要更好看的图,他们要模型失败的那个确切情况,而且每一帧都要带标签。

这就是 Studio 的立足点:不去采集长尾,而是按需构造长尾。

Studio 是怎么用的

官方给的流程是四步,全程不需要 3D 技能:

  1. 用大白话描述问题。官方举的例子是:「我们的抓取模型在杯子被台面上其他东西挡住一部分时会漏抓,傍晚的光线下更糟。」
  2. 它配场景、提变体。从库里挑一个匹配的厨房,把物体按物理摆好——每个东西都落在能承托它的表面上,互不穿插,通道留空——然后建议你变哪些轴:一天中的时间、遮挡比例、周围摆什么、相机高度。
  3. 你决定什么变、什么锁死。可以只让光变、相机路径完全不动,这样两段视频之间的差异只来自你选的那个条件,能直接对比。官网的演示是一条走廊「同一机位、16 个版本」:杂物、家具、日光都在变,镜头一步没动。
  4. 渲染导出。输出图像或视频,加上你勾选的真值图层,同时记录每一帧背后的条件(几点、哪些物体动过、挡了多少)。

官网首页给的一个实际规模参考:一条走廊跑 480 次变体,合计 4.0 小时素材、14.2 GB,1080p / 24fps。

关键差异:标注是「算出来的」

这是我认为整件事里最值得记的一点,也是它和「用生成式模型造数据」最本质的分界。

每一帧能拿到的图层:

  • 几何:深度(单位米,EXR)、表面法线
  • 物体:实例分割 + 类别分割、带类别与实例 ID 的 2D 包围盒
  • 相机:每一帧的位姿
  • 场景:光照、布局、物体清单,以及你管线需要的其他元数据

官方的说法是「labels by construction」——标签由产生这张图的 3D 场景直接算出,不经过标注员,也不经过一个预测模型。好处很直接:没有可以继承的标注误差,细长物体和被挡掉一半的物体也能拿到像素级准确的掩码,光暗下去标签也不会跟着崩。

对比之下:真实拍摄要么人工标要么模型标,两者都会在最难的样本上出错;生成式图像/视频模型能造出很真的画面,但深度、法线、分割往往要靠另一个模型反推,误差是叠加的。Studio 的取舍是牺牲「照片级的真实感」,换「标注的确定性」和「条件的可控性」。

它自己也承认边界:场景库是室内与工业(住宅、仓库、医院、工地),不是无限的;输出目前是图像和视频,最高 1920×1080;beta 期免费但需要申请,正式定价、算力要求、导出格式细节官方均未公布。

已经有一个可对照的用例:做「把真实房间变可探索 3D」的 SpAItial 用 Physicl 的数据训练后,在真实房间上的重建误差降低了一半以上(2x+),这个评估由 TUM 的 Matthias Niessner 团队完成——他现在也是 Physicl 的顾问,同时是 SpAItial 的 CEO,所以这个数字要按「厂商自述 + 关联方评估」来看待,不是第三方独立复现。

成本与时间

官方对外的说法只有一句:beta 期间免费,面向实验室、高校和公司,按批次放人。正式版的定价、单次渲染的算力要求、导出格式的完整清单,官方均未公布——这三点是评估时最需要自己问清的。

从官网给的那个例子倒推时间量级:一条走廊 480 次变体、4.0 小时 1080p 素材、14.2 GB 产出。也就是说,一个中等规模的补充数据集,是「按小时和几十 GB」来算的,不是「按天等邮件」的。

适用场景:谁该关注,谁可以先跳过

适用场景(值得关注):

  • 做机器人抓取、导航、操作的团队——尤其是已经知道模型在哪些场景失败、却没有办法批量生成这些场景的。
  • 做世界模型 / 4D 重建的团队——多视角视频里深度、位姿、物体在每一帧互相一致,这种数据很难靠采集凑齐。
  • 已经在搭合成数据管线的公司——可以把它当成「长尾生成器」接在真实数据旁边,按你控制的配比补进去,而不是替换真实数据。

不适用场景(可以先跳过):

  • 想找「一句话生 3D 模型」工具的设计师和独立开发者——这不是那类产品,它不产出可用的网格资产。
  • 需要户外大场景、航拍、城市级重建的——目前的库是室内与工业。
  • 需要 4K 以上、需要真实照片级画质做展示的——上限是 1080p,且明确不为「好看」服务。

避坑:三个容易误判的地方

  • 别把它当成「AI 生 3D」的替代品。它不产出网格资产,产出的是带标注的图像与视频;想要 GLB/OBJ 请去找 Meshy、Tripo、混元那条线。
  • 别用它的合成数据自测自评。合成分布上的提升很好拿,但真正的判断标准是真实数据上的误差有没有动。SpAItial 那个「误差减半」是关联方评估,不是第三方复现。
  • 别指望「描述一句话就万事大吉」。场景是从已有的库里配出来的,库覆盖不到的场景类型(户外、超大空间、特殊材质)它给不了;描述里漏掉的关键变量,会直接变成你数据里的盲区。

行动建议:一个最小验证

如果你手上已经有一个稳定复现的失败案例,别一上来就大规模跑。建议这样:

第一步,把这个失败案例写成一句话(什么物体、被什么挡住、什么光照、相机什么高度)。

  1. 让它生成两个版本:一个只改光照,一个只改遮挡比例,其余全部锁死。
  2. 拿这两组各几百帧去微调,然后在真实数据上测——不是在这批合成数据上测。
  3. 看误差降在哪:如果只在合成分布上降、真实数据不动,说明你的场景描述漏了关键变量。

参考来源

关于融资与团队背景,本文基于多家媒体转述整理(TechCrunch、The Next Web、Silicon Report 等对同一轮融资的报道),核心事实一致;产品细节以官方博客与官网为准。

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...