FLUX 3 发布:Black Forest Labs 首个图像+视频+音频统一多模态模型,Self-Flow 超越 Seedance 2.0 和 Runway Gen-4.5
FLUX 3:Black Forest Labs 的统一多模态模型来了
Black Forest Labs(BFL)今天正式发布 FLUX 3——一个在统一架构内联合学习图像、视频和音频的多模态基础模型。这不是把三个独立模型拼在一起,而是基于 Self-Flow 方法,让模型从同一个"世界表征"出发生成不同模态的内容。早期评测中,FLUX 3 视频生成在多项对比中超过 Seedance 2.0、Kling v3 Pro、Grok Imagine Video 甚至 Runway Gen-4.5。FLUX 3 Dev 开放权重版本也在发布计划中。
一个模型,三种模态
FLUX 3 的核心思路很简单:图像是空间结构在某个时刻的快照,视频恢复了时间维度,音频揭示了视觉无法捕捉的因果关联(比如碰撞的声音)。单独学任何一个都只是"投影",把它们放在一起学,模态之间的约束反而让模型理解更准确——声音必须匹配撞击,运动必须服从物理,未来必须延续过去。
Self-Flow 是实现这一思路的技术基础。它不是传统的 Flow Matching,而是在同一架构内高效对齐多模态的生成与理解能力。BFL 在此基础上大幅扩展了计算资源和训练数据,让 FLUX 3 同时在视频、图像和音频上训练。
视频生成:最长 20 秒,自带音频
FLUX 3 视频是当前已开放 Early Access 的能力,支持:
- 文本到视频:直接从文字描述生成最长 20 秒的视频+音频
- 图像到视频:从起始帧延续动画,或用图片做视觉参考
- 视频到视频:将源视频中的核心元素(如角色)带入新场景
- 关键帧到视频:定义关键画面,模型自动生成过渡
- 多语言对话:生成的视频角色可以说不同语言
- 生成式续写:基于输入的视频和音频继续生成
- 链式拼接:通过 Agent 将多个片段串联为多镜头长序列
风格覆盖范围很广,从手持录像质感到动画到电影画面都能处理,排版和动态设计文字生成也很强。
评测:超过 Runway Gen-4.5
BFL 公布了基于 10 秒 720p 文本到视频的初步评测(带音频):
| 对比模型 | FLUX 3 偏好率 |
|---|---|
| Runway Gen-4.5 | 77% |
| Grok Imagine Video | 69% |
| Kling v3 Pro | 60% |
| Happy Horse v1 | 59% |
| Happy Horse 1.1 | 57% |
| Seedance 2.0 | 52% |
| Gemini Omni Flash | 52% |
| Luma Ray 3.2 | 93% |
BFL 特别指出 FLUX 3 在面部表情捕捉、声音与物理事件关联、多语言能力上表现突出。这些评测是初步结果,模型仍在开发中,Early Access 阶段预计还会有提升。
图像与动作预测
图像生成和编辑能力也在 FLUX 3 的能力范围内。BFL 表示,在训练中期评估中,FLUX 3 处理复杂提示词和文字生成的能力相比前代有显著提升,支持多语言高精度文字渲染。图像 Early Access 将在未来几周开放。
更有意思的是动作预测(Action Prediction)。FLUX 3 的世界理解能力可以延伸到物理操作:BFL 提供了两条路线——直接在 FLUX 3 内集成原生动作预测,或用预训练的视频 backbone 微调出专用动作模型。后者已经落地:BFL 与 mimic robotics 合作开发了 FLUX-mimic,将 FLUX 3 的 backbone 与 mimic 的机器人学习结合,已在奥迪产线上进行实际测试。
开源计划
FLUX 3 的发布是分阶段进行的:
- FLUX 3 Video:API + 私有权重访问,当前已开放 Early Access
- FLUX 3 Image:API + 私有权重访问,未来几周开放 Early Access
- FLUX 3 Dev:开放权重多模态 backbone,覆盖视频+音频+图像+动作预测——这是开源社区最关心的
- FLUX-mimic / FLUX 3 Action:通过合作伙伴渠道提供
每个能力在正式发布前都会经过 Early Access 阶段收集反馈和安全测试。
为什么重要
FLUX 3 的意义不只是"又一个视频模型"。它代表了一个范式转变:从"多模态拼接"(分别训练图像模型、视频模型、音频模型再组合)走向"世界模型"(一个模型理解世界的多个方面并联合生成)。内容创作和物理 AI 可以共享同一基础,这比纯粹的生成质量更值得关注。
基于 BFL 官方博客及 T8star-Aix 评测视频整理。