GTAGym: Real AAA Game Tasks Environment for Evaluation and Reinforcement Learning
Jiajun Chen, Shicheng Fang, Jiahao Lu, Yuxin Wang, Xipeng Qiu
cs.CV, cs.AI, cs.CL
2026-11-09
把 GTA V 主线任务重建成 150 个引擎自动判分关卡,六大前沿模型最好 70.9%,仍比人类低 18.9 分;配套生成器可批量造 RL 环境,步行任务训练后原生游戏成绩 15%→23%。
让 agent 在商业 3A 游戏里干活,先卡住的不是模型,是判分。Minecraft 类沙盒任务可以程序化验证,复杂度却离真实开放世界很远;SIMA、Cradle、Lumine 这类直接玩商业游戏的工作,成败要靠 OCR 或人看录像来判;GameVerse、GameHorizon-Bench 一类基准靠 VLM 匹配里程碑或离线打分,可验证的在线赛道甚至要搬回 Minecraft 实现。能自动验证的不真实,真实的不易验证,RL 更无从谈起,训练需要成千上万个能自动发奖励的环境。
GTAGym(复旦大学与 Shanghai Innovation Institute 的 OpenMOSS 团队)把四件事合到一处:任务目标取自 GTA V 主线,成败由引擎状态自动判定,支持并行评测,还能批量生成带奖励信号的 RL 环境。
任务从哪来。 作者对照攻略视频手工拆解 75 个 GTA V 主线任务,给每个子任务标注目标、交互约束和实体行为,重建成 150 个关卡:103 个在线 3D 任务覆盖 9 类,含道路、步行、水上、垂直、室内、空中导航和跟随、拦截、逃脱;47 个图像任务用 GTA V 原始画面做射击与狙击。3D 部分不是跑原版游戏,是在 Babylon.js 里基于开源项目 GTASZ 重建的,换来引擎状态完全可读:步行到点要求落地且水平误差 3 米内,拦截要求把目标压到 3 m/s 以下保持 1.5 秒。判分是二值的,没有部分分,agent 自己声称完成不算数。
怎么交互。 Web 服务器统一暴露「截图进、键鼠动作出」的接口,支持并行评测。动作是带时长的按键(单键最长 1 秒)加鼠标移动、滚轮和点击,推理期间仿真暂停。两个分支共享同一批任务:GTAVBench 发文本指令,走 JSON 协议,历史窗口 10 对截图;GTAVBench-AGI 更接近真人玩法,指令只出现在第一张截图里,历史由 Codex harness 自动压缩。
怎么生成 RL 环境。 每类任务做成模板,固定场景、交互逻辑和判定器,暴露起点、终点、路线长度、转弯数、移动方式、NPC 速度、追捕者数量等参数。用户给区间或候选集,生成器在可行性约束内采样,批量产出环境,任务结局直接当稀疏奖励。
六个前沿模型在 150 个任务上的总分(按任务等权):
| 模型 | GTAVBench(JSON) | GTAVBench-AGI(Codex) |
| GPT-6-Astra | 66.4 | 70.9 |
| GPT-6.1-Sol | 66.0 | 66.9 |
| GLM-5.3-Flash | 38.9 | 41.8 |
| DeepSeek-V4.1-Flash | 33.8 | 38.2 |
| Kimi-K3 | 28.4 | 33.1 |
| Qwen3.8-27B | 24.2 | 34.2 |
| 人类(3 名通关玩家) | 89.8 | — |
GPT 两家与其余四个拉开超过 25 分。静态导航接近饱和,两个 GPT 模型的步行、室内、垂直导航基本满分;动态控制是重灾区:JSON 协议下空中导航全员 0 分,AGI 分支最好只有 Astra 的 8.3%;拦截 Astra 41.0%、其余几乎为 0;逃脱最高 25.0%,空中导航连人类都只有 45.8%。对 900 条轨迹做首错标注,565 条可归类,校准(方向、幅度选错)与调节(时机早晚、不随态势换动作)合计 63.2%;出错后十步内恢复进度,Astra 65.7%、Sol 49.3%,其余四个只有 21.6%25.6%。token 效率差距同样大,JSON 协议下 DeepSeek 的输出 token 约是 Astra 的 26 倍,分数只有一半左右。
RL 部分用生成器造了 50 个步行导航任务,对 Qwen3.8-27B 做 GRPO 加 LoRA(rank 32,8 张 H200),奖励是终点二值成功,失败轨迹按距离推进最多补 0.3。held-out 步行任务 54.2%→72.9%,总分 34.2%→38.9%;垂直导航 46.7%→73.3%、水上 57.6%→69.7% 属于跨类别白捡;道路驾驶纹丝不动(3.3%),射击反而从 73.6% 退到 68.1%。换到 100 个原生 GTA V 任务上,成功率 15%→23%。
消融给了两个硬数据:动作时长上限从 1 秒压到 0.5 秒,Sol 在 103 个 3D 任务上从 62.1% 升到 66.3%,代价是交互轮数翻倍;取消推理暂停让游戏实时演化,直接掉 22.3 个点到 39.8%,跟随、拦截、逃脱全部归零。推理延迟本身就是动态交互的瓶颈。
对做评测的人,这是第一个同时集齐「真实 3A 任务目标、引擎状态自动判分、Web 并行执行、RL 环境生成」的框架,人工判分从流程里消失,基准可以反复跑、大规模跑。对做训练的人,生成器给出一条省钱路径:只在便宜的步行任务上做 LoRA RL,垂直、水上乃至原生游戏任务都能吃到迁移,8 张卡即可。首错分析把「模型不行」细化成「闭环控制不行」,感知和规划并不是当前短板,这对算力往哪投有直接参考价值。
也要说清,70.9% 对 89.8%,基准远未饱和,但头部模型在静态任务上已接近天花板,后续区分度主要来自动态控制类。
3D 环境是 Babylon.js 重建而非 GTA V 原生引擎,物理与视觉细节必有偏差;作者做了原生迁移验证,但训练后也只到 23%,重建环境上的成绩不能直接外推。RL 增益不均匀,飞行、拦截纹丝不动,射击倒退 5 个点,是灾难性遗忘的常见面孔;跨类别增益更接近通用操作熟练度的溢出。人类基线只有 3 名玩家各打一遍。GTAVBench-AGI 比 GTAVBench 普遍高 0.910 个点,这部分收益来自 Codex harness 的长记忆,而压缩本身会引入目标漂移,Kimi 就把屋顶目标压缩成了开车目标,协议选择在影响排名。模板生成器的开放度受固定模板约束,离真实游戏的长程开放任务还有距离。