RuneBench：让 AI Agent 在游戏 RuneScape 里刷经验测能力
charliermarsh · x · 2026-10-20
开发者发布 RuneBench，一个让 AI agent 在游戏 RuneScape 中完成任务的 benchmark。agent 通过 TypeScript SDK 读写游戏状态并执行动作，还能搜索从游戏 wiki 提取的技能指南、物品属性等 markdown 资料，以「感知—决策—行动」循环考察多步规划与问题解决能力。
评分设计：最初按固定时间内总经验值(XP)计算，但发现这惩罚探索——最优策略变成无脑挂机刷经验。改为衡量每 15 秒窗口内的最大 XP 速率，奖励发现高级策略，获胜运行确实展示了多地点、多技巧的组合打法，「模型是惊人的优化器」。
局限：任务运行时间长；缩短时长会惩罚模型前置规划（花大量时间读文档）和部分模型的慢推理速度；环境复杂加上样本少，带来噪声和假阴性。作者认为还有设计更短、更有趣的微任务的空间。
「编程与Agent」频道最新
- 语音式 agent 交互再起：开发者称 productivity 大幅提升 — omarsar0 · 2026-10-20
- 开发者为 Omarchy 打造 Orb 快捷轮盘,Super+Alt+O 一键唤起 — shauseth · 2026-10-20
- Vjeux 几条提示词搓出红石门百科站，37 块方块 3x3 活门秒开 — Vjeux · 2026-10-20
- 代码已成软件业最廉价资产，价值正转向规格与测试 — prasanna_says · 2026-10-20
- 50 个高价值 GitHub 仓库合集:从系统设计到自学编程全覆盖 — nikola_mr64990 · 2026-10-20
- VoidZero 并入 Cloudflare 后开源 Void 平台、SDK 与 CLI，打通 Vite 全栈部署 — Vjeux · 2026-10-20