Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent
Run Luo, Kuan Zhang, Qi Deng, Yukun Chen, Zhihao Yang, Yufei Zhang, Renrong Hu, Yi Zhang, Guiyu Ma, Tianyu Fan, Longze Chen, Hao Sun, Jiaming Li, Jiaming Yang, Xiaohao Liu, Tao Tan, Minzheng Wang, Hangtian Jia, Shuai Yuan, Lvdi Wang, Xiao Liu, Chao Ma, Yuting Zou, Yinhe Zheng, Xiaobo Xia, Dawei Jiang, Shaoqing Ren
cs.CL, cs.AI, cs.CV
2026-11-14
米哈游用数万小时键鼠轨迹做继续预训练加在线 RL 训出 Gamer,星穹铁道支线完成率 83.6%(最强基线 45.5%),实时游戏控制全面超过通用多模态模型。
游戏 AI 的明星成果(Atari、Minecraft、StarCraft)都建立在特权访问之上:读内部状态、用定制动作空间、走专用 API。现代商业游戏不开这些口子,通用 agent 只能像人类玩家一样,看屏幕像素、发键鼠事件。通用多模态模型(GPT、Gemini、Claude)看得懂画面,但没学过低层控制,推理也太慢:游戏不等人,动作晚到,面对的状态就变了。论文实测,通用模型从「暂停等模型」切到实时评测,平均分掉 17 到 35,MCU 上单项最多掉 73 分。
第二个问题是长时程。星穹铁道一条支线有 30 到 55 个里程碑、预算长达 100 分钟,整段历史塞不进上下文,奖励只在最后兑现,误差还会逐步累积。米哈游 Honkai AI 团队用 Gamer 同时回应这两件事:一个从像素到键鼠的统一动作空间,一套撑住长时程和实时的训练与部署管线。
底座是 Qwen3-VL-8B(另训了 Qwen3.5-35B-A3B MoE 的 CPT 检查点),分三阶段。
继续预训练(CPT)学控制。 观察按 5Hz 采样,每个 200 毫秒间隔拆成 6 个约 33 毫秒的动作块,等效 30Hz 控制率;鼠标位移加按键集合直接用模型已有词表序列化,不加输出头。每款游戏配一份控制规范,告诉模型每个键在当前游戏里干什么。CPT 语料约 2.4K 小时(VPT、D2E、OpenP2P 加自家 HSR 录像),混 15% 通用多模态数据。两个去偏设计是关键:
稀疏思考的指令微调。 从 68K 段、11K 小时 HSR 录像筛出 1K 小时,用 GPT-5.6-Luna 标注出约 120 万条决策点思考、22.3 万条记忆摘要、6.3 万个任务段。指令分三级:局部操作、中间子目标、完整任务。稀疏是核心:常规走路直接出动作,只有路线修正、目标切换这类决策点才生成推理文本,模型在同一个自回归过程里自己决定何时思考,不外挂分类器。记忆同样靠摘要:快被挤出上下文的历史先压缩成第一人称进度摘要再丢弃,长期记忆超预算就按时间删最旧的。策略在训练时就只看推理时能拿到的信息。
TA-GRPO 做在线 RL。 记忆压缩把超长 rollout 切成有限段,段间靠摘要衔接,几百分钟的任务不必塞进一个上下文。每段用环境侧可验证结果打分(引擎插桩暴露任务状态,GM 命令做可复现初始化),组内 8 条 rollout 归一化成相对优势,再按时间衰减把段级优势分给各步,越靠近验证点权重越大。没有 critic,没有过程奖励模型。工程上 32 个并行 Windows 游戏环境由 64 张 H200 上的分片推理池服务。
Streaming-vLLM 撑实时。 跨轮保留 KV cache(压缩后只增量修正 RoPE 相位,不重算投影)、FSM 起草结构 token 加 BF16 验证的投机解码、第一个键块就绪即派发动作。Dense 和 MoE 架构、A800 和 H200 都支持。
星穹铁道两条 held-out 支线(评测任务未进训练集):
| 模型 | Opportunity Makes the Thief | Bestial Ferocity |
| 最强通用基线 | 23.3(DeepSeek-V4-Flash-Vision) | 45.5(Gemini-3.8-Flash) |
| Qwen3-VL-8B 基座 | 0.0 | 13.9 |
| Gamer-CPT | 34.4 | 47.9 |
| Gamer-SFT | 72.2 | 69.1 |
| Gamer-RL | 80.0 | 83.6 |
RL 后两条任务的战斗与 UI 交互都到 100%,对话 88.1%/100%,导航 69.1%/80.2%。跨游戏泛化:MCU、ViZDoom、OmniGameArena、GameWorld 四个公开基准实时平均,35B-A3B MoE 检查点 31.5 分,GPT-5.6-Sol 17.6;MCU 上 65.3 对基线最高 8.7。实时与暂停的分差最有信息量:多数基线明显掉分,MoE 检查点反而 +3.4,推理快到动作能追上游戏状态,低延迟本身成了能力的一部分。七类小游戏 40 个实例上,RL 后平均 49.7%,GPT-6.1-Sol 17.1%。
缩放实验(120 个配置,约 45K H200 GPU 时)给了泼冷水的结论:训练分布内拟合很好(R² 0.995),但对远未见过的游戏,拟合出的数据指数 b≈0,再加数据不涨。
这篇的可取处在全链路而非单点:重复动作降权、稀疏思考、摘要式记忆、段级 GRPO、流式推理,每一环都对应长时程实时控制的一个具体故障模式,而且都不绑定游戏领域,机器人长时程操作同样会撞上。对厂商,引擎插桩沙盒同时服务 RL、评测和自动化回归测试,论文自己把规模化自动测试列为核心用途,这比「超越人类玩家」是更近的落地路径。键鼠轨迹还有成本优势,比真机机器人数据便宜得多,且 VPT、OpenP2P 这类公开轨迹数据集已经存在。推理引擎与 CPT 检查点已开源。
作者自述的:远未见过的游戏不吃 CPT 数据增量;HSR 评测是熟悉游戏里的新任务,不是零样本迁移;GRPO 段分组不要求相同起点,组内难度分布可能不齐;时间衰减权重只是先验,不代表靠后的动作贡献真的更大。
读下来还有几处要打折扣。RL 在小游戏上并非全面受益:Hexanexus 从 76.2 掉到 33.3,Janus' Maze 从 52.4 掉到 23.8,时序敏感控制和精细空间推理(Abacus Circuitry 22.2%)仍是短板,Bestial Ferocity 里的三处机关谜题 RL 后也只有 11.1%。三级 SFT 指令全部来自 HSR 一款游戏,任务级跨游戏泛化只有 CPT 的间接证据。「与熟练玩家相当」的说法全文没给人类对照数据。标注管线依赖 GPT-5.6-Luna,只提了用人工样例引导措辞,没给抽检错误率。