29B 世界模型塞进 ComfyUI:PAN 2 先替你看一遍「接下来发生什么」,但提示词得写成剧本,int8 也要 38GB 显存
2026年11月16日2 次阅读
3 分钟看懂
先讲结论:PAN 2 是阿联酋 MBZUAI 旗下 IFM(基础模型研究所)在 11 月 12 日开源的「世界模型」。你给它一张现场照片、再写一段「接下来要做什么」,它会先让语言模型把未来写成带时间戳的结构化剧本,再用 29B 参数的扩散模型把剧本「演」成最多 20 秒的视频——让你在动手之前,先看到结果。
它的新闻点不是发布(那是 11-12 的事),而是 11 月 15 日:ComfyUI 官方 PR #17755 合入 master,Comfy-Org 权重仓同日上线,等于官方工具箱正式接上了这个模型。本篇关于 ComfyUI 适配细节与文件清单的部分,基于多家媒体转述整理。
一句话先说结论
- 谁做的:MBZUAI 的 IFM 研究所,Apache-2.0 全开源——权重、训练代码、推理代码都放出来了
- 干什么:「模拟推理」。先回答「如果我这么做会怎样」,生成的视频可以逐帧检查、可以对照实拍
- 关键限制:提示词要写成约 1480 token 的结构化 JSON;int8 版总文件约 38GB;目前跑 ComfyUI 只能用 master 开发版
它是什么
PAN 2 把「生成」拆成两个角色:
- 「思考」的语言模型:读入当前场景(可附一张首帧图)和你要求执行的动作,输出「下一世界状态」——带时刻的事件、哪个对象在动、镜头怎么移
- 「画出来」的 29B MMDiT 扩散模型:按这段结构化描述加首帧的 VAE latent,生成视频 latent,再由 Wan 2.2 解码器渲染成画面
官方口径:29B 扩散模型从零训练,数据是「数亿条视频」;文本编码器用的是 Qwen3.5-9B,未做改动(第三方组件按各自许可使用)。架构基于 Generative Latent Prediction(GLP),官方论文指向 arXiv:2507.05169。
规格与门槛(官方默认值)
- 分辨率 704×1248、24fps;默认 241 帧(约 10 秒),最长 481 帧(20 秒)
- 采样 50 步、flow shift 9、CFG 2.5
- 结构化描述软上限 1480 token、硬容量 1536 token
- 文件大小:bf16 扩散模型 67.4GB;int8 版 26.7GB + Qwen3.5-9B int8 9.7GB + VAE 1.4GB,合计约 38GB(文件清单基于多家媒体转述整理)
怎么用
- 官方路径:IFM/PAN2 仓库的 inference.sh,每个 GPU worker 各持一份完整 29B 模型
- ComfyUI 路径:跑 master 版——11-15 合入的 PR #17755 还没进 v0.45.4 稳定 tag;从 Comfy-Org/PAN2 下文件,放进 models/diffusion_models、text_encoders、vae 三个目录
- 提示词:别直接写自由文。先跑官方的「Conceptual Reasoner」(一个可被 Claude Code / Codex 调用的 skill,或本地模型脚本)把自由文改写成结构化 caption。官方对比过 Claude Opus 5.5、GPT-6 Astra、Kimi K3、Qwen 3.8 Flash 四个改写器
- 第一步,上素材:用 i2v 模式(首帧图 + 动作)起步,输出在 t2v / i2v 目录,每个视频旁带 _config.json,方便复跑
效果(官方报告口径)
- 300 条单动作测试(201 I2V + 99 T2V);100 个第一视角多步计划、456 步
- 公开基准:Physics-IQ Verified、PhyGround、RBench
- 人评:140 条 prompt、13 名评审、1400 次盲评,Bradley–Terry Elo 以 1500 居中;报告默认用 Kimi K3 做改写器
- 注意:全计划完成率等数字以官方报告表格为准,正文不单独放大;第三方(grainzilla,11-12)实测提醒:「要像写脚本一样写 prompt」
适用场景
- 机器人与 Agent 的「沙盘推演」:先模拟 20 秒再执行,省掉不可逆试错
- 教学与创作:把物理因果可视化,做分镜预演
- 研究:世界模型评测、具身智能预训练管线
不适用场景
- 直接当文生视频产品用:结构化 prompt 门槛高,自由文直出容易出「噪声画面」(官方提示词指引原话)
- 显存低于 40GB 的消费卡:int8 起步 38GB,bf16 要 67GB 以上
- 要稳定版工具链的团队:ComfyUI 支持只在 master,未进正式 tag
避坑
- 不跑改写器就直出:官方明说结构化 caption 效果最好,跳过这步画面会劣化
- 按 v0.45.4 装 ComfyUI:找不到 PAN2 节点,PR 只进了 master
- 商用前查许可:Wan 2.2 与 Qwen3.5-9B 是第三方组件,各按原许可
- 先算磁盘和带宽再下:bf16 组合接近 90GB 级别
成本和时间
- 本地:单 GPU 持 29B 模型,int8 约 38GB 显存起步;50 步采样,20 秒片段的耗时官方未给统一基准
- 官方没给托管 API 价;媒体对同类模型的 fal 实测数字属第三方口径,不能当官方报价
行动建议
- 第一步,上素材:挑一个 i2v 场景,下 Comfy-Org/PAN2 的 int8 组合(约 38GB)
- 第二步:跑官方 prompt rewriter(或装 skill 让编码 Agent 代跑),生成结构化 caption
- 第三步:master 版 ComfyUI 里接 PAN2 节点,默认 241 帧 / 50 步出片,按 _config.json 复现
参考来源
- 官方模型卡 IFM/PAN2(规格、许可、基准口径): https://huggingface.co/IFM/PAN2
- ComfyUI 官方适配 PR #17755(11-15 UTC 合入 master): https://github.com/comfyanonymous/ComfyUI/pull/17755
- Comfy-Org 权重仓(11-15 创建/上传): https://huggingface.co/Comfy-Org/PAN2
- 日本 AI Creator Lab 11-16 核验稿(文件清单、版本差异): https://note.com/ai_image_goat/n/nb3a1901d4d5f
- IFM 发布稿(Channel Post MEA,11-12): https://channelpostmea.com/2026/11/12/ifm-launches-pan-2-to-teach-ai-how-the-physical-world-works/