视频模型

29B 世界模型塞进 ComfyUI:PAN 2 先替你看一遍「接下来发生什么」,但提示词得写成剧本,int8 也要 38GB 显存

2026年11月16日2 次阅读

3 分钟看懂

先讲结论:PAN 2 是阿联酋 MBZUAI 旗下 IFM(基础模型研究所)在 11 月 12 日开源的「世界模型」。你给它一张现场照片、再写一段「接下来要做什么」,它会先让语言模型把未来写成带时间戳的结构化剧本,再用 29B 参数的扩散模型把剧本「演」成最多 20 秒的视频——让你在动手之前,先看到结果。

它的新闻点不是发布(那是 11-12 的事),而是 11 月 15 日:ComfyUI 官方 PR #17755 合入 master,Comfy-Org 权重仓同日上线,等于官方工具箱正式接上了这个模型。本篇关于 ComfyUI 适配细节与文件清单的部分,基于多家媒体转述整理。

一句话先说结论

  • 谁做的:MBZUAI 的 IFM 研究所,Apache-2.0 全开源——权重、训练代码、推理代码都放出来了
  • 干什么:「模拟推理」。先回答「如果我这么做会怎样」,生成的视频可以逐帧检查、可以对照实拍
  • 关键限制:提示词要写成约 1480 token 的结构化 JSON;int8 版总文件约 38GB;目前跑 ComfyUI 只能用 master 开发版

它是什么

PAN 2 把「生成」拆成两个角色:

  • 「思考」的语言模型:读入当前场景(可附一张首帧图)和你要求执行的动作,输出「下一世界状态」——带时刻的事件、哪个对象在动、镜头怎么移
  • 「画出来」的 29B MMDiT 扩散模型:按这段结构化描述加首帧的 VAE latent,生成视频 latent,再由 Wan 2.2 解码器渲染成画面

官方口径:29B 扩散模型从零训练,数据是「数亿条视频」;文本编码器用的是 Qwen3.5-9B,未做改动(第三方组件按各自许可使用)。架构基于 Generative Latent Prediction(GLP),官方论文指向 arXiv:2507.05169。

规格与门槛(官方默认值)

  • 分辨率 704×1248、24fps;默认 241 帧(约 10 秒),最长 481 帧(20 秒)
  • 采样 50 步、flow shift 9、CFG 2.5
  • 结构化描述软上限 1480 token、硬容量 1536 token
  • 文件大小:bf16 扩散模型 67.4GB;int8 版 26.7GB + Qwen3.5-9B int8 9.7GB + VAE 1.4GB,合计约 38GB(文件清单基于多家媒体转述整理)

怎么用

  • 官方路径:IFM/PAN2 仓库的 inference.sh,每个 GPU worker 各持一份完整 29B 模型
  • ComfyUI 路径:跑 master 版——11-15 合入的 PR #17755 还没进 v0.45.4 稳定 tag;从 Comfy-Org/PAN2 下文件,放进 models/diffusion_models、text_encoders、vae 三个目录
  • 提示词:别直接写自由文。先跑官方的「Conceptual Reasoner」(一个可被 Claude Code / Codex 调用的 skill,或本地模型脚本)把自由文改写成结构化 caption。官方对比过 Claude Opus 5.5、GPT-6 Astra、Kimi K3、Qwen 3.8 Flash 四个改写器
  • 第一步,上素材:用 i2v 模式(首帧图 + 动作)起步,输出在 t2v / i2v 目录,每个视频旁带 _config.json,方便复跑

效果(官方报告口径)

  • 300 条单动作测试(201 I2V + 99 T2V);100 个第一视角多步计划、456 步
  • 公开基准:Physics-IQ Verified、PhyGround、RBench
  • 人评:140 条 prompt、13 名评审、1400 次盲评,Bradley–Terry Elo 以 1500 居中;报告默认用 Kimi K3 做改写器
  • 注意:全计划完成率等数字以官方报告表格为准,正文不单独放大;第三方(grainzilla,11-12)实测提醒:「要像写脚本一样写 prompt」

适用场景

  • 机器人与 Agent 的「沙盘推演」:先模拟 20 秒再执行,省掉不可逆试错
  • 教学与创作:把物理因果可视化,做分镜预演
  • 研究:世界模型评测、具身智能预训练管线

不适用场景

  • 直接当文生视频产品用:结构化 prompt 门槛高,自由文直出容易出「噪声画面」(官方提示词指引原话)
  • 显存低于 40GB 的消费卡:int8 起步 38GB,bf16 要 67GB 以上
  • 要稳定版工具链的团队:ComfyUI 支持只在 master,未进正式 tag

避坑

  • 不跑改写器就直出:官方明说结构化 caption 效果最好,跳过这步画面会劣化
  • 按 v0.45.4 装 ComfyUI:找不到 PAN2 节点,PR 只进了 master
  • 商用前查许可:Wan 2.2 与 Qwen3.5-9B 是第三方组件,各按原许可
  • 先算磁盘和带宽再下:bf16 组合接近 90GB 级别

成本和时间

  • 本地:单 GPU 持 29B 模型,int8 约 38GB 显存起步;50 步采样,20 秒片段的耗时官方未给统一基准
  • 官方没给托管 API 价;媒体对同类模型的 fal 实测数字属第三方口径,不能当官方报价

行动建议

  • 第一步,上素材:挑一个 i2v 场景,下 Comfy-Org/PAN2 的 int8 组合(约 38GB)
  • 第二步:跑官方 prompt rewriter(或装 skill 让编码 Agent 代跑),生成结构化 caption
  • 第三步:master 版 ComfyUI 里接 PAN2 节点,默认 241 帧 / 50 步出片,按 _config.json 复现

参考来源

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...