Gamer 技术细节:10K 小时游戏数据预训练+TA-GRPO 强化学习
minchoi · x · 2026-11-17
Gamer 项目页公开了训练与推理细节:
- 架构:以预训练多模态模型为底座,输入 5 Hz 屏幕截图,输出鼠标位移和每 200ms 六个连续 33ms 键状态的统一键鼠动作格式。
- 训练三阶段:CPT 用超 1 万小时对齐的屏幕+键鼠操作数据做继续预训练,学习跨游戏控制技能;SFT 在操作/子目标/任务三层做指令微调,加入稀疏推理与持久记忆;RL 用 TA-GRPO 在环境奖励下优化带记忆的轨迹。
- 实时推理:自研 Streaming-vLLM 引擎,通过持久 KV 缓存与提前动作分发降低延迟,支撑并行 RL rollout 和实时部署。
- 能力展示:用同一键鼠动作空间通关《崩坏:星穹铁道》主线,统一解决 5 类解谜(逻辑、空间推理、时序规划与精准时机)。
- 开源:提供项目页、GitHub 仓库、Hugging Face 模型与技术报告。
所属事件:米哈游发布通用游戏智能体 Gamer,纯视觉玩转 30 余款游戏(9 条相关)→
「具身」频道最新
- 米哈游发布通用游戏 Agent Gamer:看屏幕就能自己玩键鼠游戏 — minchoi · 2026-11-17
- 韩国 J&J 基于 Unitree R1 打造药店人形机器人做巡检盘点 — CyberRobooo · 2026-11-17
- 给机器人智能体自制真空吸附螺丝刀,末端工具也动手卷 — ihorbeaver · 2026-11-17
- Claude 设计三台可用硬件设备,连 25 度斜装步骤都写进说明 — nukebuddy · 2026-11-17
- Vision Pro 应用 Passage 将推买断制,12月1日更新环境与画质 — wattmaller1 · 2026-11-17
- Austin 首乘 Cybercab:博主称体验全面胜过 Waymo — Scobleizer · 2026-11-17