AnyGameRenderer: Entity-Consistent Generative Rendering Across Games and an Entity-Level Benchmark
Ruicong Liu, Liangyang Ouyang, Fengbo Lan, Zhixiang Wang, Kaipeng Zhang
cs.CV
2026-10-22
用约一万条配对片段给 33B 的 MiniMax-H3 加上 LoRA，灰盒和线框被重绘成多风格游戏画面；753 个实体上时序匹配从 50.9% 升到 62.9%，漏计从 34.7% 降到 21.3%。
编程 agent 几分钟能交出可玩的小游戏，逻辑、物理和镜头都在，画面仍是程序员美术：灰盒、彩色几何体、平涂色块。
交互世界模型按操作继续生成下一帧，精确人数和脚本事件守不住。另一路把状态留在引擎，只生成像素，代表有 CWM、PWM、Matrix-Game 4.0、StreamRender-H3、SolarRenderer。演示多集中在第三人称、第一人称或驾驶，输入还常常是类别标签、带状态的 3D 框或低模。agent 批量产出的是塔防、自走棋、俯视幸存者、回合战、卡丁车和人群跑酷，手头往往只有一段粗录像。
AnyGameRenderer 吃进这段视频，保住机位、布局和每个实体的位置与进出帧，再按提示词换外观。
底座是 MiniMax-H3 的 ref2va，33B，用参考视频做编辑。粗画面作为参考视频，六段提示词写风格和色块身份，风格锚图可选。训练时锚图是成片第一帧；推理时可换风格图，也可以不给。最高约 768p、24 帧每秒。
训练只动 LoRA（低秩适配器），秩 128，加在每个 Transformer 块的自注意力和前馈上，底座冻结。损失用 flow matching，拟合从噪声走到画面的速度场。公布结果都用 20 步 Euler 采样。
对应契约有四条。粗形状是替身，正文写成品身份，同色算同一类。retention 段要求位置、尺寸、时机、人数照搬，空白继续留空。全用肯定句，因为底座没有 negative prompt，「不要 HUD」往往会把 HUD 画出来。字幕由程序生成，并故意列入当前片段没出现的角色，让模型以视频判断谁在场。
数据 10,330 条，约 14.8 小时，统一为 124 帧、24 帧每秒（5.17 秒）、1344×768。
| 来源 | 粗输入 | 条数 | 占比 |
| GEAR，38 款游戏 | 图元 pass（另存粗模、语义图、深度） | 3,221 | 31% |
| Unreal 双通道 | 灰盒加彩色角色块 | 3,910 | 38% |
| 真实录像 | 3D 框渲成实心、线框、圆柱或椭球 | 3,199 | 31% |
GEAR 覆盖射击、幸存者、塔防、卡丁车、竞技场和合作，训练对是图元 pass 和成片。Unreal 按零样本的失败来编剧：同色群体从 2 人变到 20 人，中途走进或消失；像素高度 20 到 600；镜头跟随 35%、俯视 30%、等轴 20%、侧面 15%；主角蓝色，至少 95% 的帧可见。真实录像用检测框重建战斗、驾驶和行人，四种代理各约 800 条。
16 张 H200，全局 batch 16，学习率热身 100 步后余弦衰减，峰值约 2×10⁻⁵ 至 2.8×10⁻⁵，权重衰减 0.01。每步约 129 秒，三轮约 48 小时。域内 LoRA 乘数 1.0；无锚图且风格未见过时用 0.7。
留出集 59 例、753 个实体：未训练 GEAR 游戏 34 例，Unreal 灰盒 11 例，真实录像 14 例，风格或角色未见过。短于 12 帧的不计。SAM3 按字幕中的主体词做开放词汇分割（按文字框出对象），并加上人和载具的通用词，去掉阴影、倒影后连成轨迹。与输入框匈牙利匹配，条件是 IoU ≥ 0.3，或中心偏移不超过框尺寸的一半。真值 RGB 走同一流程，分数记为 GT floor，标出管线测量上限。
时序匹配看存在帧和位置正确的帧有多重合。位置匹配在对上的帧上按中心偏了多远打分。未渲染率是纯色块留下的比例，幻觉率是没有输入对应的检测帧比例。75 次人数跳变（约 6 帧的窗口内至少多出 2 个）里，其后 60 帧内没跟上的比例记为漏计。准时指偏差在 4 帧内，约 0.17 秒。
| 指标 | 零样本 | 微调后 | GT floor |
| 时序匹配 | 50.9% | 62.9% | 80.9% |
| 位置匹配 | 57.1% | 61.9% | 79.3% |
| 未渲染率 | 4.1% | 2.9% | 0.1% |
| 幻觉率 | 52.1% | 46.0% | 34.1% |
| 准时出现 | 55.9% | 67.6% | 93.6% |
| 从未出现 | 26.0% | 20.2% | 0.7% |
| 漏计人数变化 | 34.7% | 21.3% | 0.0% |
Unreal 上时序匹配从 80.2% 到 96.6%，贴近 GT floor 的 98.5%，从未出现降到 0。GEAR 上从 47.6% 到 60.7%，漏计从 40.7% 到 23.7%。真实录像从 46.5% 到 51.1%，未渲染率 2.6% 到 2.9%，漏计仍是 20.0%。五类体裁的时序匹配都高于零样本，人群和第三人称涨幅最大；俯视与第三人称的幻觉率略升，俯视仍然最难。同指标下没有和上述并发渲染器对照。
产线可以收成代码加灰盒。换风格只改提示词或锚图，建模、贴图、动画先跳过。一个权重吃多种体裁，输入也不必是 G-buffer。约 1 万条、16 张 H200、48 小时的 LoRA，比全参微调 33B 轻。
幅度是渐进的。时序匹配提高 12 个点，距测量上限 80.9% 还远。幻觉率 46%，检出的实体帧近一半没有输入对应。漏计降到 21.3%，还当不了关卡账本。
真实录像最接近实际用法，增益最小：漏计不动，未渲染率还升了 0.3 个点。Unreal 接近满分，分布是为失败案例手写的，同色人群、六色角色、蓝色主角几乎一直在画里。
GT floor 幻觉率仍有 34.1%，时序上限 80.9%。SAM3 对非人角色不保证稳，渲染错和检测错分不开。短于 12 帧的目标被剔除，弹道不算分。没有偏好评测，片段只有 5.17 秒，20 步采样的延迟也没给。
推理侧要一份六段字幕，用肯定句写清身份、人数和空白。域外风格还得手调 LoRA 乘数到 0.7。GEAR 的训练对是图元和成片，语义图、线框的分数没有按输入类型分开报。