CMen 发布 Gym-Anything-RT:最强模型实时任务仅得 9%,人类达 45%
wellecks · x · 2026-10-28
CMU 的 Pranjal Aggarwal 与 Sean Welleck 发布 Gym-Anything-RT,首个衡量视觉语言模型"实时行动"能力的基准:游戏在模型思考时持续推进,不可暂停。
- 100 个实时小游戏,5 档难度 × 2 种交互模式,共 2000 种配置;每个实时任务都有非实时对照版。
- 最强模型 GPT-6 Astra (xHigh) 实时模式仅解出 9%,而同样的任务暂停后能解出 75%;非实时对照版为 66%。
- 人类首次接触这些游戏即解出 45%(20 题对 9 题,平均每题 2.2 分钟),且所有前沿模型都比人慢——前沿模型每次输入要花数秒,游戏不会等它。
- 结论:LLM 数学上可能超人类,但实时感知-决策能力差距巨大,该基准可通过时钟控制(实时/减速/暂停)系统研究这一短板。
论文、代码、排行榜与在线试玩均已公开。
「模型」频道最新
- HF 工程师玩神经元的脑外科手术：改一个神经元 Qwen 变预言家 — LysandreJik · 2026-10-28
- Surge AI在Kaggle Bench Summit谈基准的未来：更像真实工作 — echen · 2026-10-28
- Artificial Analysis 复测 DeepSeek 新版:原评测变差或因 Fireworks 推理波动 — teortaxesTex · 2026-10-28
- 订阅补贴下的模型性价比图：DeepSeek V4.1 Flash 以免费杀入前沿 — teortaxesTex · 2026-10-28
- 2 万条实测数据：前沿模型卡在哪，Agent Arena 投诉率揭示三大差距 — arena · 2026-10-28
- Nemotron-3.5-Transcribe 接入 vLLM：原生语音塔+FP8/NVFP4 推理 — aakashgupta · 2026-10-28