4 步就能出图也能改图:Qwen-Image-2.1 的「RL 蒸馏版」放出全量权重,14GB 显存能跑
3分钟看懂
11 月 2 日,做推理加速的 ModelTC / LightX2V 团队在 Hugging Face 放出 Qwen-Image-2.1-Lightning-v2-RL:把阿里那个「一个模型同时管文生图和改图」的 Qwen-Image-2.1,压成了 4 步去噪就能出结果的版本。第二天(11 月 3 日)他们又补了一个 688MB 的 rank-64 LoRA 文件。
一句话说结论:同一个 7B 级模型,原来要跑 40 步,现在 4 步;原来只能出图,现在出图、单图改图、多图组合三件事共用一套权重。 代价是许可仍是非商用。
基于多家媒体转述与官方 model card 整理,权重与参数均以 Hugging Face 仓库为准。
这是什么
Qwen-Image-2.1 是阿里通义千问的图像模型:7B 的视觉生成部分,把文生图和图像编辑合在一个模型里,还能直接生成带透明通道(RGBA)的图。
但它有个现实问题——好用归好用,慢。原版常规要 40 步采样,本地跑一张图的时间成本摆在那,做批量改图、做实时预览都不太舒服。
Lightning v2 RL 就是冲这个来的:拿 Qwen-Image-2.1 做底,先蒸馏、再用强化学习精修,把步数从 40 压到 4,而且不是只压文生图,改图那部分也一起压。
它怎么做到 4 步
不是简单少跑几步那么简单。关键在三处:
- 蒸馏 + 强化学习:先学原模型的输出,再用 LightX2V 自己开源的
lightx2v_rl代码做一轮 RL 精修。 - 固定 sigma 表:仓库里带一个
inference_config.json,里面写死了四个噪声水平1.0 → 0.95418 → 0.89508 → 0.704534,调度器只在最后补一个 0。 - CFG 关掉、KV cache 打开:
true_cfg_scale = 1.0(等于不做双分支引导),use_kv_cache = true,这两项是 4 步还能保住画质的前提。
能干什么
同一套权重,三个任务:
- 文生图:给提示词直接出 1024×1024 的图。
- 单参考编辑:给一张参考图 + 指令,改衣服颜色、换背景这类。
- 多参考组合:给多张参考图,按提示词里的顺序对应,比如「让图 1 的人穿图 2 的外套」。
仓库里放了两组文生图、两组单参考编辑、两组多参考组合的对照样例,都是 4 步 vs 原版 40 步、同样 CFG、同样提示词、1024×1024。注意这是作者自己挑的例子,不是 benchmark 分数。
怎么用(第一步)
官方给的路径是 Diffusers:
- 装带
QwenImage21Pipeline的 Diffusers(模型卡要求从 git 装最新版)、transformers>=5.17.0、accelerate、safetensors、pillow。 - 下载 Lightning v2 RL 仓库,把里面的 transformer 换进 Qwen-Image-2.1 的管线;text encoder、VAE、processor 仍然从原模型取。
- 调度器用
FlowMatchEulerDiscreteScheduler,参数直接读inference_config.json里的scheduler段。 - 采样时把
sigmas显式传进去,num_inference_steps取 sigma 的个数(4)。
最小可跑的样子(按模型卡整理,不是我实测的代码):
transformer = QwenImage21Transformer2DModel.from_pretrained(MODEL_DIR, torch_dtype=torch.bfloat16)pipe = QwenImage21Pipeline.from_pretrained("Qwen/Qwen-Image-2.1", transformer=transformer, ...)pipe.scheduler = FlowMatchEulerDiscreteScheduler(**config["scheduler"])- 调用时传
sigmas=config["sample_sigmas"]
宽高要设成 32 的倍数;改图时 image=[参考图],多参考就 image=[图1, 图2]。
成本与硬件
- 仓库里的全量 transformer 是 28.46 GB(FP32 存储),按作者建议用 bf16 加载,显存占用约 14 GB——和 Comfy-Org 那个 bf16 版本的原模型 transformer 一个量级。
- 你还得额外准备原版 Qwen-Image-2.1 的 text encoder 和 VAE,这部分不能省。
- 11 月 3 日补的 rank-64 LoRA 只有 688 MB,对想省下载量的人更友好,但它同样依赖原模型底座。
- 许可沿用 Qwen Research License,非商用。这点对商用产品是硬门槛,动手前先看清。
避坑
- 不要只写
num_inference_steps=4。模型卡明确说了,这样复现不出效果,必须把四个 sigma 一起传进去。 - 不要二次 shift。sigma 已经是偏移过的,再套一次动态偏移会直接糊。
- 别照抄上一代 v1 的设置。v1 用的是均匀间隔 sigma 配指数动态偏移,v2 完全换了。
- 目前没有 ComfyUI 格式文件和官方 workflow,只有 Diffusers 布局;想进 ComfyUI 得等社区转格式。
- 细节仍需人眼复查。作者自己提示:小字、手部结构、物体数量、参考一致性都可能出问题,且结果跟 seed 有关。
- 仓库很新,截至目前下载量仍为 0、likes 不到 30,社区验证还很少。
对谁有用
- 本地跑图、显存 16GB 上下、想跑「能出图也能改图」统一模型的人。
- 做改图工具原型、需要快速出候选、对延迟敏感的开发者。
- 已经在用 Qwen-Image-2.1,想在不换底座的前提下把速度提上来的人(前代 v1 的 LoRA 已被下载 43 万次,说明这条路有人走)。
不适用
- 要商用、不能碰非商用许可的团队。
- 只想拖节点、不写 Python 的 ComfyUI 用户(现在还没有对应格式)。
- 需要逐像素精确控制、或对文字准确性要求极高的排版场景——4 步蒸馏在这类细活上本来就更容易掉分,得自己验。
参考来源
- Hugging Face 模型卡(一手,含参数与用法):https://huggingface.co/lightx2v/Qwen-Image-2.1-Lightning-v2-RL
- inference_config.json(sigma 表与调度器参数,一手):https://huggingface.co/lightx2v/Qwen-Image-2.1-Lightning-v2-RL/raw/main/inference_config.json
- ArtRealmAI 11-02 转述(文件体积、无 ComfyUI 格式、非 benchmark 提示):https://artrealmai.com/article/qwen-image-2-1-lightning-v2-rl-4-step-full-weights
说明:本文的发布节奏、参数与体积来自官方 model card 和 HF 仓库文件;部分解读(v1 对比、社区现状)基于多家媒体转述整理,未做独立复现。