米哈游 120 组实验拆解游戏 CPT:实时对局 9B 反超前沿模型

Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds

Kuan Zhang, Yukun Chen, Zhihao Yang, Yue Su, Xiangnan Wu, Zirong Chen, Run Luo, Jinkun Hou, Tao Tan, Yinhe Zheng, Yiming Li

cs.AI, cs.CV, cs.LG

2026-10-20

米哈游用 120 组实验测游戏 agent 继续预训练:三因素扩展定律 R²=0.995,实时对局最多反超前沿模型 5 倍,远世界迁移仍无解。

这篇在解决什么

机器人 scaling 的经验是数据越多越杂越好，前提是所有经验共享同一套物理规律，一处学到的力学换个任务还能用。虚拟世界没这个前提：不同游戏在画面、物理、键位、目标上可以同时完全不同，人类几分钟就能上手新游戏，agent 能不能靠多喂游戏数据换来这种适应力，此前没有受控验证。现有游戏基础模型(SIMA、GameTARS 一类)把数据量、配比、模型规模打包一起改，异构经验是互补还是干扰一直拆不开。miHoYo 崩铁 AI 团队联合清华等机构，用 120 组配置的网格实验把这笔账算了清楚。

方法

只动三个旋钮，其余固定：Qwen3.5 底座四档(0.8B/2B/9B/27B)、游戏时长六档(50 到 1,600 小时)、配比五档(S1 到 S5,Minecraft 占比从 100% 降到 0%)。全参数继续预训练，合计 3.5×10¹¹ token、约 4.5 万 H200 GPU 小时。

• 统一键鼠接口：5Hz 收画面、30Hz 出操作，每 200ms 一个动作包，含鼠标位移和六个 33ms 子步按键，模型先 <think> 再出动作。
• 数据 85% 是游戏轨迹(VPT、D2E、OpenP2P),15% 是固定配比的通用视觉语言数据，防止底座能力流失；GPT-5.6 另补了稀疏事后推理标注(平均每样本约一条)，只描述玩家意图，不动动作标签。
• 评测分三级：训练内世界(MCU、ViZDoom)、未见相关世界(OmniGameArena,7 个 UE5 3D 游戏)、远世界(GameWorld,170 个任务、34 个环境，多为 2D/2.5D)。

最讲究的设计是 S2 到 S5 的非 Minecraft 游戏池完全固定(124 路录像、79 个游戏)，只调 Minecraft 比例，把「游戏数量」和「经验分布」两个变量解耦。

结果

• 训练分两段：头 50 小时是「接口期」，三级验证损失全部跌破底座水平，没见过的游戏也受益；之后进入「世界期」，收益收缩到已见与相关世界。
• Minecraft 与 in-corpus 损失可拟合三因素扩展定律，R² 为 0.982 和 0.995,留出 27B、1,600h 或 50h 重拟合，预测 RMSE 仍在 0.0016 到 0.0027。OOD 损失拟不出任何定律(β 趋近 0):远世界收益在 50 小时就兑现完，继续训练反而缓升。
• 纯 Minecraft 训练的 27B-S1 在三个非 Minecraft 基准上全部低于自己的底座，GameWorld 掉约 17 分；多样数据训练的小模型能反超纯 Minecraft 训练的大模型。
• MCU 上 27B-S1 平均成功率 63.3%,最好的 Minecraft 专用模型 MAIN-VLA(7B)是 48.0%;用数万小时做行为克隆的 VPT 只有 4.8%,0.8B-S3 有 36.0%。GUI 任务成功率从 0.8B 到 27B 涨了六倍。
• 与前沿模型统一接口同测：暂停推理时，CPT 把 27B 底座的 MCU 分数放大 6 倍(9.3 到 54.0),9B/27B 与约 300B 的开源前沿模型打平。实时对局形势反转，前沿模型每步 4 到 23.7 秒的延迟使其在 MCU 和 ViZDoom 上掉约 90% 分数；GameScaling 0.8B 到 9B 保留 88% 实力，每步 0.13 到 0.69 秒，9B-S3 四基准均分 25.3,超过最好的前沿模型(19.2)。远世界是例外：前沿模型在 GameWorld 上分数约为本文模型的两倍，CPT 只在 0.8B、2B 带来提升。

为什么重要

这是第一个把虚拟具身 CPT 三个因子拆开的受控研究，配比结论直接可用：预算有限时，训练分布要贴着目标域配，盲目扩多样性不划算，堆数据量也只救已见世界。实时那条结论对做游戏 AI 的团队更硬：不停顿的世界里延迟本身就是能力，推理慢的模型动作到达时世界已经变了。权重和代码已开源(THUSI-Lab/GameScaling)。

局限与存疑

• 论文自认整个 120 组网格只用一个训练种子(4.5 万 GPU 小时跑不起重复)，没有方差信息。
• CPT 是行为克隆，拿不到任务成败信号；远世界泛化差源于模仿目标本身还是游戏覆盖不足，论文无法区分。
• 多样性轴只调了 Minecraft 配比，「增加游戏种类数」这条轴没测。
• 附录 C.1 自己承认，新一代通用底座在部分基准上的进步幅度超过游戏专用 CPT,通用模型进化仍是并列的主线。
• 实时对比中前沿模型走 API 含网络延迟、GameScaling 跑本地 H200 集群，作者认为这反映真实部署，但硬件条件不对等。

术语

• CPT(continued pre-training):在通用预训练底座上继续喂领域数据，这里指游戏轨迹。
• 行为克隆：模仿录像里玩家的按键，接触不到任务成败反馈。
• 接口期/世界期：训练早期学跨游戏通用的操作格式，后期学各世界特有的动力学。
• MCU/OGA/GameWorld:三级游戏基准，分别对应 Minecraft 内任务、未见 3D 世界、远分布 2D/2.5D 游戏。
• Hill 数：按香农熵折算的「等效世界数」，S1 为 1,S4 为 60.1。

原文与代码

• arXiv 2610.28698v1
• PDF
• Hugging Face
• GitHub · https://github.com/THUSI-Lab/GameScaling

相关论文

• DeLoop 不靠奖励,8B 循环率从 57.3% 降到 6.1%
• 同题同答案，家族思维链比Fable 5原文高7.1分
• 文本拒绝方向零训练可用，Qwen3-VL 视频拒绝率 28.8% 升至 88.2%
• 开源合成341道长程电脑任务，35B外测平均涨10.6分
• 学生自写、教师穿插追问，155 例留出效用 0.801，无技能只有 0.723
• 两款 27B 决策模型公开集只差 2.6 分，对照题组却是 70.1% 对 44.2%

全部论文解读