昆仑万维开源 Matrix-Game 4.0：一张 RTX 5090 就能实时"画"出一款游戏，按键到画面不到 150 毫秒
先说结论：视频生成模型第一次被塞进一张普通的游戏显卡，而且直接做成了能上手玩的游戏——昆仑万维旗下的 Skywork AI 在 10 月 15 日发布了 Matrix-Game 4.0，官方称这是"全球首款可在单张消费级显卡上实时运行的视频大模型游戏"，代码、模型权重和游戏素材全部开源。
这是什么：一个"引擎管规则、AI 管画面"的双层结构
过去那种"能生成世界的 AI"，思路是让视频生成模型把整个游戏世界都记在脑子里，结果就是画面容易穿帮、离开视野的东西就消失、玩法也写不进去。
Matrix-Game 4.0 换了个分工方式：
- 游戏引擎负责世界状态：角色位置、物理、交互规则，先画出一份"廉价"的低多边形（low-poly）代理画面。
- 视频生成模型只负责渲染：读入这份低模画面、一句动态描述和几张参考帧，把它实时"美化"成精细画面。
- 中间还加了一层 Coding Agent：用户想加新玩法时，它负责把指令写成新的游戏规则塞进引擎，并据此生成提示词。
一句话：规则交给引擎，想象交给 Agent，画面交给视频模型。想换玩法，改代码就行，不用重新训练模型。
硬指标：一张卡、60 帧、延迟低于 150 毫秒
官方给出的数据相当具体：
- 单张 NVIDIA RTX 5090：480p 分辨率下以 60 FPS 实时运行，约占用 18.5 GiB 显存；
- 从玩家按键到画面响应，端到端延迟低于 150 毫秒；
- 模型采用"少步数"的因果 DiT，把去噪蒸馏到一到两步，每一步生成一个 latent（对应四帧），实现流式输出。
发布次日（10 月 16 日），官方又补上了两张卡的优化：RTX 5080 可达 67 FPS、RTX 5070 Ti 可达 58 FPS（864×480 稳态，固定提示词加 SageAttention，不含视频 IO），同时放出了技术报告。
为什么重要
此前这类"交互式世界模型"大多锁在实验室的多卡集群里，普通人和小团队根本碰不到。Matrix-Game 4.0 把门槛压到了一张消费级显卡，而且是开源的：
- 首发三个可用场景：Medieval Castle（中世纪城堡）、Ancient Egypt（古埃及） 两个第三人称射击场景，以及 City Racing（城市竞速） 赛车场景；
- 模型权重、游戏素材、低模 sink 图都放在 Hugging Face 上；
- 代码仓库同时提供离线渲染路径和单人浏览器 demo（WebRTC，客户端不需要显卡）。
对独立游戏人来说，这意味着"用 AI 实时生成画面"第一次变成可以本地跑、可以改的东西；对做视频生成/世界模型研究的团队来说，它是一个能直接复现、能拆开看的基线。
怎么用 / 上手条件
想自己跑起来，门槛不算低，主要是环境和硬件：
- 克隆官方仓库，进入
Matrix-Game-4/目录； - 需要 Linux + NVIDIA GPU + Python 3.12，并安装对应的 PyTorch/CUDA 环境；
- 从 Hugging Face 下载所需场景的模型权重与素材（脚本会校验文件大小与 SHA256）；
- 用
--preset rtx5090（或rtx5080/rtx5070ti）选择对应硬件的加速推理路径； - 浏览器 demo 需要这台 Linux 主机额外构建游戏与 GStreamer，客户端用 Safari 或 Chrome 即可。
不适用 / 避坑
- 不是"通用视频生成"：它面向的是"低模代理画面 → 精细画面"的实时渲染场景，不是让你输入一句提示词直接生成任意视频。
- 硬件卡得比较死：优化路径依赖匹配的 PyTorch/Triton 和 NVIDIA 驱动；
rtx5080与rtx5070ti目前只支持固定提示词模式。 - Windows 没有验证：官方保留了旧的 Windows 入口，但明确说没有验证功能对等，稳妥起见走 Linux。
- A100 路径是另一套：A100 80GB 用的是
--preset realtime，和消费级卡的 preset 不通用，选的显式指定、不会自动识别。
一句话总结
Matrix-Game 4.0 的价值不在"画得多好看"，而在于它把"实时可玩的世界模型"从多卡集群搬到了一张游戏显卡上，并且把代码和权重都放了出来——今年关于"AI 生成世界"的讨论，从此有了一个能自己跑起来的开源答案。
*本文基于官方 GitHub/Skywork AI 官方发布信息，并综合腾讯新闻、雷峰网、凤凰网、TechNode 等多家媒体报道交叉印证整理。*
参考来源
- 官方 GitHub：https://github.com/SkyworkAI/Matrix-Game
- Skywork 官方 X：https://x.com/Skywork_ai/status/2110615377088745817
- Hugging Face 模型与素材：https://huggingface.co/Skywork/Matrix-Game-4.0
- 项目主页：https://matrix-game-v4-0.github.io/page/
- TechNode：https://technode.com/2026/10/15/kunlun-tech-releases-open-source-ai-game-system-that-runs-on-a-single-rtx-5090
- 腾讯新闻：https://news.qq.com/rain/a/20261015A076CW00
- 雷峰网：https://www.leiphone.com/category/industrynews/OSk0jtFDeBaSizAH.html
- 凤凰网：https://tech.ifeng.com/c/8xExktGEDXh