生图3D类

Niantic Spatial 发布 Gaussian Splat Relighting:让高斯泼溅场景"换天气",给具身 AI 造可控训练环境

2026年9月19日0 次阅读

Niantic Spatial(Pokémon GO 背后的公司,现在主攻空间计算和具身 AI)在 9 月 18 日悄悄放出一个新能力:Gaussian Splat Relighting(高斯泼溅重光照,beta)。一句话解释:你用手机或无人机拍了一个高保真 3D 场景(高斯泼溅格式),这个工具能生成"同一个地方、不同天气/光照"的版本——白天变晚上、晴天变下雨——而场景里的几何、碰撞体、导航数据、语义标签全部原样保留。

这对做机器人仿真和具身 AI 的团队意义很大:以前高斯泼溅最大的痛点就是"光照被焊死"——扫描时是下午两点,整个环境就永远是下午两点,你没法让机器人在"雨天黄昏"的同一个场景里多跑几遍训练。这次 Niantic 把这条路打通了。

先给不熟的人科普一句:高斯泼溅(3D Gaussian Splatting,GS)是近两年最火的 3D 重建技术之一——用几十上百张照片把真实场景重建出可以实时漫游的高保真 3D 表示,比传统 mesh(网格建模)快得多、还原度高得多。现在做实景三维、数字孪生、机器人仿真,很多团队都绕不开它。

但它有个结构性缺陷:splat 的颜色是把当时的真实光照"烧"进数据里的。阳光角度、阴影、大气、天气,全是采集那一刻的静态外观,不是一个可以编辑的参数。这意味着:

  • 想让同一个场景在不同光照条件下都可用?重新拍一遍。
  • 想批量生成"同一地点、不同光照"的训练数据?拍不拍不完。
  • 对具身 AI 来说,真实世界的变化(光照变化就是最重要的变化之一)无法低成本覆盖。

Niantic 发布的重光照能力是 beta,只开放给 select design partners(少数合作设计方),不是自助 API——定位是"早期协作能力",让技术团队在真实环境里测试场景变化,并共同定义这个工作流下一阶段的样子。

技术上的关键判断是:重新光照时,几何本身保持不变,只重算每个高斯(splat)的球谐(spherical harmonics)外观系数来匹配新光照。带来的直接好处:

  • 碰撞 mesh、导航 mesh、语义标签在变体之间原样携带,不用重新处理;
  • 同一个场景的多个光照版本共享完全一致的空间和语义基础——这是重新拍一遍给不了你的连续性;
  • 目标是把"一次采集"变成"一组可控光照变体",给仿真和具身 AI 提供受控的场景变化。

这套方法不是凭空冒出来的。底层用的是预计算辐射传递(Precomputed Radiance Transfer,PRT)——图形学研究了几十年的技术。2024 年的 PRTGS 论文(arXiv:2408.03538)已经证明过:把 PRT 思路搬到高斯泼溅上,可以捕获软阴影、间接光照、互反射。

Niantic 这次的新增量是:把这条思路接进自家的 real-to-sim 管线,并做了离线批量生成的优化——一批高质量的重光照变体离线跑出来,而不是在线实时算。研究先例 + 工程优化,路线算清晰。

**有用的人:**

  • 做具身 AI / 机器人仿真的团队:同一真实场景需要覆盖"晴天/雨天/白天/夜晚"等光照条件,这是核心卖点
  • 实景三维 / 数字孪生方向需要"多光照版本"的场景库
  • 想把高斯泼溅场景接入 sim 管线的团队

**不适用 / 注意:**

  • 目前是 beta,仅限 select design partners,不是任何人可用的自助服务
  • 它只改光照外观,不改变几何本身;不是"再拍一遍"的替代品,而是"一次采集多个光照版本"的增强
  • 官方明确说是早期协作能力,工作流边界还会跟着合作方的反馈继续演进
  • 别把它理解成"光照编辑软件"——它是 sim/embodied AI 数据管线的一环,服务目标是"受控变化的训练场景",不是内容创作
  • beta 阶段的能力范围和稳定性都会变,跟进官方 roadmap 和 design partner 的实际反馈
  • PRT 类方法在极端光照场景(强逆光、镜面反射密集)下的表现仍是个开放问题,PRTGS 论文也提到过边界情况

本文基于 Niantic Spatial 官方博客 2026-09-18 公告("Introducing Gaussian Splat Relighting")与官方 Instagram 同题内容整理。

评论

0 条已公开
登录注册后可以参与评论。

正在加载评论...