昆仑万维Matrix-Game 4.0：单张RTX 5090实时60FPS跑AI生成游戏
机器之心 · wechat · 2026-10-15
昆仑万维发布并开源 Matrix-Game 4.0，全球首个在消费级显卡上实时运行的视频大模型游戏：基于 Wan2.2 5B，单张 RTX 5090 上以 480p 实现 60FPS 运行，按键到画面端到端延迟低于 150ms，稳态生成 83FPS，显存峰值约 18.5GiB。对比英伟达同期 StreamRender-H3 需 8 张 GB200、交互延迟约 500ms。权重与可二次创作的游戏代码同步开源。
- 架构思路：不让视频模型包办一切，而是"套 harness"三模块分工——游戏引擎充当裁判维护规则与状态（游戏由 Coding Agent 编写，改玩法只改代码不需重训模型），Coding Agent 充当编剧负责视觉风格与即兴创作，视频模型充当画师只负责渲染，无权改动核心游戏数据。
- 关键技术：基于 UE5 构建结构画面-精细画面像素级对齐数据集；动态 Caption 让语义随玩家视角实时更新；V2V 模式 148 通道输入，两步训练（SFT 后按 Causal Forcing++ 改为自回归少步生成）。
- 推理优化：CUDA Graph 重放、融合 RoPE/归一化/FP8 Kernel、环形 KV 缓存、文本 KV 复用、TAEHV 轻量编解码，把文本编码器、30 层 DiT 与 VAE 全部塞进一张 5090。
文章还梳理了 Matrix 系列从 1.0 到 4.0 的演进，以及 Genie 3 等世界模型在长时一致性上的困境。
所属事件:昆仑万维开源 Matrix-Game 4.0：单卡 5090 实时跑世界模型(3 条相关)→
「多模态」频道最新
- Scale AI 新模型 Argon 评测曝光：长视频理解领先对手 18 个百分点 — zacharynado · 2026-10-15
- 创作者实测 AI 电影工作流：分镜控制运镜，「首次真正掌控摄像机」 — Uncanny_Harry · 2026-10-15
- AI 生成视频里字幕自称「他们把 Halo 塞进了使命召唤」,离谱又好笑 — ahuja_priyank · 2026-10-15
- 开源 LoRA 让 MiniMax H3 从单张照片生成无缝 360° 环绕视频 — camenduru · 2026-10-15
- 三人视频通话画面流出,两个「人」疑似全程 AI 生成 — Left-Hotel904 · 2026-10-15
- Neon Noir 风格提示词走红：双色调霓虹出图效果惊艳 — LudovicCreator · 2026-10-15