一张照片就能转着看 3D：SperidLabs 开源 Idol，0.66B 参数、7.2GB 显存，连背面都替你想好了

先说结论：10 月 28 日，SperidLabs 开源了一个叫 Idol 的模型，只吃一张物体照片，直接吐出一个能转着看的 3D 高斯泼溅（3D Gaussian Splatting，3DGS）。代码、权重、在线 Demo 全都放出来了，许可证是 Apache-2.0，商用许可没问题。

它的卖点不是"分辨率更高"，而是把你没拍到的那一面也猜出来。给它一张正面照，转到背面，物体还是立体的，不是贴了张图的纸片。

但它有个必须一开始就讲清楚的前提：它给的是"泼溅"，不是"模型"。没有面、没有 UV、没有骨骼、没有碰撞体。想拿去 3D 打印或塞进游戏引擎当资产，中间还得自己补一道工序。

本文事实来自 SperidLabs 官方项目页、Hugging Face 模型卡与 GitHub 仓库三处一手来源，另有两家独立媒体（NYU Shanghai RITS、ArtRealmAI）的转述交叉核对。

3分钟看懂

• 是什么：单图生 3D 的开源模型。输入一张物体照片/渲染图/AI 生成图，输出标准 3DGS .ply 文件。
• 谁做的：SperidLabs，一家研究型小实验室，项目负责人 Alejandro Cañada，合作者 Chema Garabito。同一家 10 月初还开源过文生图模型 Iris-3B。
• 有多大：核心 0.66B 参数，一次请求峰值显存 7.2GB。这个量级的意思是——一张消费级显卡能跑，不用租服务器。
• 多少钱：权重和代码免费，Apache-2.0。在线 Demo 在 Hugging Face Space 上免费试。
• 能不能直接用：能跑，但首次运行要先登录 Hugging Face，接受两个上游模型（DINOv3、FLUX.2-dev）的条款，否则下载不动。
• 最大的坑：它不产出网格。想打印、想进 Unity 当碰撞体，得另外做 splat→mesh。

它解决的具体问题：你只拍到了正面

单图生 3D 这件事，难点从来不在"生成"，在"补全"。

一张照片只记录了一个视角。传统做法要么靠多视角重建（那就得拍一圈，回到"要扫描"的老路），要么靠单图深度估计再挤出个壳（侧面一转就露馅，像块浮雕）。

Idol 走的是第三条路：把单图生成当成一个扩散过程，直接在 3D 高斯的参数空间里采样。SperidLabs 在技术说明里强调，这套管线是从零按"3D 扩散 Transformer"预训练的，不是把多视角重建的零件拼起来——这正是它能给遮挡区域编出合理几何的原因。

流程分四步：

1. 抠背景，用 BiRefNet 把物体从画面里摘出来。
2. 重新构图，把物体摆到画面中央、占合适比例。
3. 提特征，用 Meta 的 DINOv3 ViT-H+/16 读图，再用 FLUX.2 的 VAE 做编码。
4. 采样高斯，DiT 去噪 + 八叉树解码 + 高斯解码，最后写出 .ply。

一次请求，吐出三个文件

这点挺实用，很多人第一次用会忽略：

• <名字>.ply —— 高斯泼溅本体，任何 3DGS 查看器都能打开。
• <名字>_input.png —— 模型实际看到的图（抠完背景、裁完之后的样子）。
• <名字>_camera.json —— 模型预测的输入相机位姿。

第二个文件是排查问题的关键。如果你觉得结果怪，先看这张图：很多时候是抠背景抠坏了，或者原图里物体太小、被裁得只剩一半。

精度可以调，这是它比"一口价"模型灵活的地方：

| 高斯数量 | 文件大小 | 适用 |

|---|---|---|

| 32,768 | 约 0.4 MB | 背景道具、远处物体 |

| 262,144（默认） | 约 3.2 MB | 一般用途 |

| 1,048,576 | 约 12.2 MB | 主角级资产 |

步进是 32，也就是从 3.2 万到 104 万之间可以细调。同一个模型，既能出一个 0.4MB 的轻量摆件，也能出一个 12MB 的精细物件。

另外有两个模式，选错了会明显影响效果：synthetic（默认）适合渲染图和 AI 生成图，它假设物体占满画面；real 适合真实照片，会在物体周围留更多余量。拿手机拍的产品照却用默认模式，十有八九会被裁掉边缘。

硬指标：参数账要算清楚

官方说的"0.66B 参数"只算了 Idol 自己训练的三块：

• 370.6M 的扩散 Transformer 去噪器
• 50.8M 的八叉树解码器
• 237.3M 的高斯解码器

但一次完整请求还要额外加载三个借来的零件：220.7M 的 BiRefNet、840.6M 的 DINOv3 编码器、84.1M 的 FLUX.2 VAE。全算上大约 1.8B 参数。

这个区别对部署很实际：模型自己的权重约 3GB，但一次推理时显存里要放 3.7~4.4GB 的权重，峰值 7.2GB。所以"8GB 显卡能跑"是成立的，但没有太多余量。

速度方面，官方给的是 262,144 高斯、50 步、8 张图的中位数：

• B300：3.4 秒
• B200：3.6 秒
• H100：6.7 秒
• RTX 5090：14.1 秒
• RTX 4090：19.1 秒
• RTX 3080：46.2 秒
• L4：54.6 秒

这里要提醒一句：模型卡开头写的是"under 2 seconds"，和上面这张表对不上。 独立媒体也算过这笔账——50 步的实测数字不支持"2 秒内"。要么是你把步数砍到很低、要么把高斯数压到最低，否则按表里的数字预期比较靠谱。另外，进程里的第一张图会因为 torch.compile 编译而变慢，之后才是全速。

官方自测赢了三个对手，但要看清"自家考场"

SperidLabs 拿 Idol 跟 TripoSplat、TRELLIS、LGM 做了对比，指标包括输入视角的 PSNR/SSIM/LPIPS/IoU，以及 7 个新视角的 DINOv2、CLIP 和清晰度距离。

在 262,144 高斯、50 步的设置下，Idol 拿到 SSIM 0.726、LPIPS 0.213、IoU 0.862、DINOv2 0.781、CLIP 0.885，在这几项上领先 TripoSplat 和 TRELLIS；单张 H100 上 6.8 秒，也快过 TripoSplat 的 9.9 秒。

但有个细节值得单独拎出来：输入视角的 PSNR 最高的是 LGM（12.46），Idol 只有 12.25，排第三。 而 SperidLabs 自己在说明里承认，LGM 的结果"肉眼看着是糊的"。

这不是自黑，是解释 PSNR 这个指标的毛病——它平均的是像素平方误差，平滑、模糊的图像反而占便宜。所以看单图生 3D 的评测，新视角指标比输入视角 PSNR 更能说明问题，因为前者才真正考验"背面编得像不像"。

另外必须说清楚：这些数字全部来自 SperidLabs 自己的测试集和评测脚本，目前没有第三方对 Idol 的独立横评。 厂商自测通常会用对自己有利的样本，等有人做同题盲测再下结论更稳。

真实边界：splat 不是 mesh

这是全篇最该记住的一段。

高斯泼溅是一种渲染表示，不是几何表示。它由几十万到上百万个带位置、尺度、旋转、透明度和颜色的椭球堆出来，渲染出来很漂亮，但它：

• 没有面片拓扑，导不进传统建模软件当可编辑网格
• 没有 UV，不能直接贴 PBR 材质
• 没有骨骼权重，不能直接绑定做动画
• 没有碰撞体，进物理引擎要先转成网格

所以"单图生 3D"这句话在两个语境里意思完全不同：Tripo、Meshy 那类给你的是网格，能打印、能进引擎；Idol 给你的是泼溅，能看、能转、能当预览和参考，但离"生产资产"还有一步。

官方也没藏着这一点，模型卡和第三方评测都写明了：想要网格，得自己做 splat→mesh 转换，而这一步目前没有标准答案，转换质量直接决定能不能用。

其他几条边界：

• 只做单个物体。不是整场景，也不是"能直接动起来"的角色。给它一张客厅照片，它不会给你一个房间。
• 本地跑只支持 NVIDIA。SDK 要求 Python ≥3.10、PyTorch ≥2.5、CUDA 显卡。Mac 用户只能走在线 Demo。
• 两个 gated 依赖。DINOv3 ViT-H+/16 和 FLUX.2-dev 在 Hugging Face 上是受限仓库，必须先接受条款、登录，才能下载。这意味着"Apache-2.0"在实践中打了折扣：你的第一次运行卡在别人的许可页上，而且这两个上游模型有自己的许可证，商用前要分别看。

和 Iris-3B 串起来：提示词到 3D，两个小模型一台卡

这是我认为最值得注意的一点，官方没大张旗鼓宣传。

SperidLabs 自己还有个文生图模型 Iris-3B（10 月 7 日开源，像素空间生成，不做潜空间），Idol 的官方示例里就直接用它出图再转 3D。也就是说：

一句提示词 → Iris-3B 画一张图 → Idol 变成可旋转的 3D 物体。

两个模型都是小尺寸、都开源、都能在一张消费级卡上跑。对学生、独立开发者、想快速验证想法的团队，这条链路的门槛比"订阅一个云端 3D 服务"低得多——没有额度、没有排队、没有按次计费。

怎么用

四步，官方给的命令：

1. 先去 Hugging Face 接受两个上游模型条款：facebook/dinov3-vith16plus-pretrain-lvd1689m 和 black-forest-labs/FLUX.2-dev（只下 VAE）。
2. 登录：hf auth login（或设 HF_TOKEN）。
3. 装：git clone https://github.com/speridlabs/idol-sdk && cd idol-sdk && pip install -e .
4. 跑：python -m idol.sample --image photo.jpg --mode real

如果不想装环境，Hugging Face Space 上有在线版（ZeroGPU），预置了 93 个示例，也能传自己的图。

几个常用参数：

• --num_gaussians：默认 262144，范围 32768~1048576
• --steps：默认 50，砍步数换速度
• --cfg_strength：默认 3.0，控制贴合提示的强度
• --rescale_t：默认 3.0，"时间平移"，越高越把步数花在高噪声阶段，形状更准、细节更少
• --seed：默认 42，同种子同结果

成本/时间

• 钱：模型免费，Apache-2.0。云端 Demo 免费。本地跑只花电费。
• 下载：Idol 权重约 3GB，加上 DINOv3 和 FLUX.2 VAE，首次下载体量不小，建议留 15GB 以上磁盘。
• 单张耗时：4090 上约 19 秒，5090 上约 14 秒，3080 上约 46 秒。批量跑时第一张要加编译时间。
• 人肉成本：真正花时间的不是生成，是挑图。背景干净、物体居中、无遮挡的原图，结果能差出一个档次。

适用场景

• 游戏/影视的前期概念：画完概念图，几秒出个能转的立体参考，比盯平面图想象空间关系强。
• 电商与产品预览：一张产品照转成可 360° 查看的物体，用于详情页或内部评审。
• 3D 打印前的形体验证：先用泼溅看比例和轮廓对不对，再决定要不要花时间建模。
• 教学与论文复现：Apache-2.0 + 消费级显存 + 完整 SDK，适合当单图生 3D 的入门基线。
• 资产库快速填充：背景里的小道具（杯子、花盆、摆件）不值得手工建模，用它批量生成正合适。

不适用场景

• 要直接 3D 打印：没有水密网格，切片软件打不开 .ply 泼溅。得先转网格再修。
• 要做动画角色：没有骨骼、没有拓扑、没有权重，绑不了。
• 要进物理引擎：没有碰撞体。
• 要一整间屋子/一个场景：它是单物体模型，场景请找重建类工具（如 SpAItial Echo-3 那一路）。
• 要严格还原背面：它是在"合理猜测"，不是"恢复真相"。产品质检、文物记录这类要求真实的场景不能用。
• 用 Mac 本地跑：SDK 只支持 CUDA。

避坑

1. 别把"under 2 seconds"当真。模型卡那句和官方 50 步实测表冲突，按表预期。
2. 照片一定用 --mode real。默认的 synthetic 会把物体裁到贴边。
3. 第一次跑不动，先查 gated 条款。不是网络问题，是没接受 DINOv3/FLUX.2 的许可。
4. 结果怪异先看 _input.png。多数问题是输入预处理，不是模型。
5. 商用前分别看三份许可。Idol 是 Apache-2.0，但 DINOv3 和 FLUX.2-dev 各有各的条款，别只看第一层。
6. 别拿自测分数当结论。目前没有独立横评，官方数字只说明"在自家考场上不差"。
7. 显存按 8GB 规划。7.2GB 峰值意味着 8GB 卡能跑但没有并发空间，批量任务要串行。

行动建议

• 只想看看效果：直接开 Hugging Face Space，传一张背景干净的产品照，30 秒内能看到结果。
• 想接进自己的流程：先跑通 SDK，用 --num_gaussians 262144 建立基线，再试 104 万看收益值不值那 4 倍文件体积。
• 想拿去做游戏资产：先确认你的渲染管线支持 3DGS（Unity/Unreal 都有插件），否则先解决 splat→mesh。
• 想评估要不要用：拿你自己的 10 张图跑一遍，重点看背面和侧面的合理性——这是它唯一真正区别于"贴图浮雕"的地方。

参考来源

• SperidLabs 官方项目页（模型、基准、各卡耗时）：https://speridlabs.com/research/idol
• Hugging Face 模型卡（Apache-2.0，2026-10-28 创建）：https://huggingface.co/speridlabs/idol
• GitHub 推理 SDK：https://github.com/speridlabs/idol-sdk
• 在线 Demo：https://huggingface.co/spaces/speridlabs/idol
• NYU Shanghai RITS 独立评测（2026-10-30）：http://rits.shanghai.nyu.edu/ai/speridlabs-idol-turns-one-photo-into-a-3d-gaussian-splat/
• ArtRealmAI 独立转述（2026-10-29）：https://artrealmai.com/article/idol-open-image-to-3d-gaussian-splat-model-speridlabs

说明：核心事实（发布时间、参数量、显存峰值、输出格式、许可）以 SperidLabs 官方项目页、模型卡与仓库为准；性能数字与限制条件另经两家独立媒体交叉核对，其中"under 2 seconds 与实测表不符""gated 依赖削弱开源成色"两点为独立媒体指出。厂商自测基准尚无第三方复现，文中已标注。

参考来源

• https://speridlabs.com/research/idol
• https://huggingface.co/speridlabs/idol
• https://github.com/speridlabs/idol-sdk