SpeedRunBench 实测:Inkling-2-Small 跑 SuperTux 仅 1961 帧领先各家
simonguozirui · x · 2026-11-16
Thinking Machines 开源 Inkling-2-Small(Apache 2.0,权重已上架 Hugging Face)后,UW 与 PatronusAI 的研究者用他们 9 月发布的 SpeedRunBench 预印本对其进行了实测,考察 LLM agent 能否反复玩同一游戏关卡并自学出速通策略。
- 基准设计:agent 只能在每次尝试后拿到一个分数,离线迭代策略;不提供 episode 内反馈或多模态帧理解,因此更衡量规划、探索与自主研究能力,而非在线游戏操作。
- SuperTux「offline scratch」结果(通关 1-1 所用帧数,越少越好):GLM 5.3 1961、Inkling-2-Small (256K) 1988、Gemini 3.7 Flash 2130、GPT-5.6-sol 2280、Claude Opus 5 2556、DeepSeek-V4-Flash 2725。
- Inkling-2-Small 与 GLM 5.3 处于第一梯队,明显优于 Claude Opus 5 和 DeepSeek-V4-Flash。
论文:arXiv 2610.08076《SpeedRunBench: Challenging LLM Agents with Video Game Speedrunning》,覆盖 9 款游戏。
「模型」频道最新
- 用户吐槽:Astra 高强度一天烧掉 52% 额度,盼出蒸馏轻量版 — CtrlAltDwayne · 2026-11-16
- 统一视觉+决策+去审查,27B 本地 Agent 模型开源,16GB 显存可跑 — ButtercupLyn100 · 2026-11-16
- DavidAU 无审查微调版 Qwen3.8-27B 冲上 Hugging Face 热门 — DavidAU · 2026-11-16
- 研究发现 LLM 同行评审严重偏爱挑附录毛病,与人类审稿差异显著 — CincyNLP · 2026-11-16
- 爆料称 GPT-6.2 因安全对齐问题延期数周,OpenAI 被指成「安全公司」 — 量子位 · 2026-11-16
- Antigravity 为 Gemini 4 模型上下文窗口翻倍 — MickeySteamboat · 2026-11-16