生图平面类

4 步就能出图也能改图:Qwen-Image-2.1 的「RL 蒸馏版」放出全量权重,14GB 显存能跑

2026年11月3日0 次阅读
4 步就能出图也能改图:Qwen-Image-2.1 的「RL 蒸馏版」放出全量权重,14GB 显存能跑

3分钟看懂

11 月 2 日,做推理加速的 ModelTC / LightX2V 团队在 Hugging Face 放出 Qwen-Image-2.1-Lightning-v2-RL:把阿里那个「一个模型同时管文生图和改图」的 Qwen-Image-2.1,压成了 4 步去噪就能出结果的版本。第二天(11 月 3 日)他们又补了一个 688MB 的 rank-64 LoRA 文件。

一句话说结论:同一个 7B 级模型,原来要跑 40 步,现在 4 步;原来只能出图,现在出图、单图改图、多图组合三件事共用一套权重。 代价是许可仍是非商用。

基于多家媒体转述与官方 model card 整理,权重与参数均以 Hugging Face 仓库为准。

这是什么

Qwen-Image-2.1 是阿里通义千问的图像模型:7B 的视觉生成部分,把文生图和图像编辑合在一个模型里,还能直接生成带透明通道(RGBA)的图。

但它有个现实问题——好用归好用,慢。原版常规要 40 步采样,本地跑一张图的时间成本摆在那,做批量改图、做实时预览都不太舒服。

Lightning v2 RL 就是冲这个来的:拿 Qwen-Image-2.1 做底,先蒸馏、再用强化学习精修,把步数从 40 压到 4,而且不是只压文生图,改图那部分也一起压。

它怎么做到 4 步

不是简单少跑几步那么简单。关键在三处:

  • 蒸馏 + 强化学习:先学原模型的输出,再用 LightX2V 自己开源的 lightx2v_rl 代码做一轮 RL 精修。
  • 固定 sigma 表:仓库里带一个 inference_config.json,里面写死了四个噪声水平 1.0 → 0.95418 → 0.89508 → 0.704534,调度器只在最后补一个 0。
  • CFG 关掉、KV cache 打开:true_cfg_scale = 1.0(等于不做双分支引导),use_kv_cache = true,这两项是 4 步还能保住画质的前提。

能干什么

同一套权重,三个任务:

  • 文生图:给提示词直接出 1024×1024 的图。
  • 单参考编辑:给一张参考图 + 指令,改衣服颜色、换背景这类。
  • 多参考组合:给多张参考图,按提示词里的顺序对应,比如「让图 1 的人穿图 2 的外套」。

仓库里放了两组文生图、两组单参考编辑、两组多参考组合的对照样例,都是 4 步 vs 原版 40 步、同样 CFG、同样提示词、1024×1024。注意这是作者自己挑的例子,不是 benchmark 分数。

怎么用(第一步)

官方给的路径是 Diffusers:

  1. 装带 QwenImage21Pipeline 的 Diffusers(模型卡要求从 git 装最新版)、transformers>=5.17.0、accelerate、safetensors、pillow。
  2. 下载 Lightning v2 RL 仓库,把里面的 transformer 换进 Qwen-Image-2.1 的管线;text encoder、VAE、processor 仍然从原模型取。
  3. 调度器用 FlowMatchEulerDiscreteScheduler,参数直接读 inference_config.json 里的 scheduler 段。
  4. 采样时把 sigmas 显式传进去,num_inference_steps 取 sigma 的个数(4)。

最小可跑的样子(按模型卡整理,不是我实测的代码):

  • transformer = QwenImage21Transformer2DModel.from_pretrained(MODEL_DIR, torch_dtype=torch.bfloat16)
  • pipe = QwenImage21Pipeline.from_pretrained("Qwen/Qwen-Image-2.1", transformer=transformer, ...)
  • pipe.scheduler = FlowMatchEulerDiscreteScheduler(**config["scheduler"])
  • 调用时传 sigmas=config["sample_sigmas"]

宽高要设成 32 的倍数;改图时 image=[参考图],多参考就 image=[图1, 图2]。

成本与硬件

  • 仓库里的全量 transformer 是 28.46 GB(FP32 存储),按作者建议用 bf16 加载,显存占用约 14 GB——和 Comfy-Org 那个 bf16 版本的原模型 transformer 一个量级。
  • 你还得额外准备原版 Qwen-Image-2.1 的 text encoder 和 VAE,这部分不能省。
  • 11 月 3 日补的 rank-64 LoRA 只有 688 MB,对想省下载量的人更友好,但它同样依赖原模型底座。
  • 许可沿用 Qwen Research License,非商用。这点对商用产品是硬门槛,动手前先看清。

避坑

  • 不要只写 num_inference_steps=4。模型卡明确说了,这样复现不出效果,必须把四个 sigma 一起传进去。
  • 不要二次 shift。sigma 已经是偏移过的,再套一次动态偏移会直接糊。
  • 别照抄上一代 v1 的设置。v1 用的是均匀间隔 sigma 配指数动态偏移,v2 完全换了。
  • 目前没有 ComfyUI 格式文件和官方 workflow,只有 Diffusers 布局;想进 ComfyUI 得等社区转格式。
  • 细节仍需人眼复查。作者自己提示:小字、手部结构、物体数量、参考一致性都可能出问题,且结果跟 seed 有关。
  • 仓库很新,截至目前下载量仍为 0、likes 不到 30,社区验证还很少。

对谁有用

  • 本地跑图、显存 16GB 上下、想跑「能出图也能改图」统一模型的人。
  • 做改图工具原型、需要快速出候选、对延迟敏感的开发者。
  • 已经在用 Qwen-Image-2.1,想在不换底座的前提下把速度提上来的人(前代 v1 的 LoRA 已被下载 43 万次,说明这条路有人走)。

不适用

  • 要商用、不能碰非商用许可的团队。
  • 只想拖节点、不写 Python 的 ComfyUI 用户(现在还没有对应格式)。
  • 需要逐像素精确控制、或对文字准确性要求极高的排版场景——4 步蒸馏在这类细活上本来就更容易掉分,得自己验。

参考来源

  1. Hugging Face 模型卡(一手,含参数与用法):https://huggingface.co/lightx2v/Qwen-Image-2.1-Lightning-v2-RL
  2. inference_config.json(sigma 表与调度器参数,一手):https://huggingface.co/lightx2v/Qwen-Image-2.1-Lightning-v2-RL/raw/main/inference_config.json
  3. ArtRealmAI 11-02 转述(文件体积、无 ComfyUI 格式、非 benchmark 提示):https://artrealmai.com/article/qwen-image-2-1-lightning-v2-rl-4-step-full-weights

说明:本文的发布节奏、参数与体积来自官方 model card 和 HF 仓库文件;部分解读(v1 对比、社区现状)基于多家媒体转述整理,未做独立复现。

参考来源

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...