Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments?
Yibo Li, Jinhang Qiu, Zhi Zheng, Qianyun Guo, Jiaying Wu, Shuo Ji, Bryan Hooi
cs.AI
2026-10-06
新加坡国立大学用20个反常识文字游戏测智能体。Kimi K3留全文，学习增益+16.9，高于压成规则的方法。
越做越好，不一定是学会了新规则。自进化评测常用规则已写在说明里、或预训练很可能见过的环境，Jericho、连续软件 issue、网页任务都是这样。分数一涨，分不清是交互里学到的，还是旧知识被调出来。
新加坡国立大学的 Learn2Play 用 20 个手写文字游戏切开这件事。规则故意新颖或反常识。SynergyCorp 里，偷同事午饭有助于升职，努力工作没有。提示不给规则。模型只靠行动和文字反馈攒经验，权重不动。反馈确定，自动计分。
10 个固定局重复同一实例，10 个重排局只换人物、菜单或布局。5 个挑战局（Catnip、DreamGarden、Mola Tea、RedEye、Roadside Observatory）打 10 局、权重 3，其余 15 个打 5 局、权重 1。每配置 3 次试验，试验之间不共享记忆。分数除以参考分再乘 100。Max 是各试验峰值的平均，峰值 40、60、80 得到的是 60。LG 是末段与前段均分之差，LS 是均分对局序号的斜率。
骨干锁定后比六种记法。Naive 不跨局。Memory 留交互原文，上下文满了才丢最旧的。Reflexion 与 ReasoningBank 压成教训。EvoTest 改引导提示和状态抽取程序。AWM 只从成功轨迹归纳流程。11 个骨干统一用 OpenCode。Opus 5 另测 Claude Code，GPT-5.6-SOL 另测 Codex。人类是大学生，每款 21–30 人，局内不用 AI。
| 设置 | 指标 | 结果 |
| Opus 5.5 / OpenCode | Max / Mean | 80.1 / 61.0 |
| Qwen 3.8 Max / OpenCode | LG / LS | +25.2 / +6.30 |
| Kimi K3 + Memory | Max / LG | 63.3 / +16.9 |
| Kimi K3 + EvoTest | Max / LG | 62.4 / +1.8 |
| 人类 Top-1 | Max / Mean | 84.3 / 53.5 |
| Opus 5，Claude Code 对 OpenCode | Max | 81.8 对 74.5 |
OpenCode 上最高分是 Opus 5.5，进步最快是 Qwen 3.8 Max。GPT-5 Mini 的 Max 只有 34.0。Kimi K3 上 Memory 四项都领先，Naive 为 Max 54.7、LG +0.3。EvoTest 峰值接近，LG 停在 +1.8。EvoTest 配 Opus 5 时，GemForge 里一次失败被写进提示，变成禁止再试许多没测过的组合。三个骨干平均后，Memory 的 LG +11.4 仍最高，Max 是 Reflexion 的 60.0。到了 Opus 5，EvoTest 的 Max 66.1 高于 Memory 的 60.9。同骨干的 OpenCode 仍有 74.5，一步回复里可以回看、计算再行动。
人类 Top-1 的 Max 84.3 高于全部配置，Mean 53.5 低于 Claude Code 的 62.3。全体玩家平均 Max 43.6。固定局动作相似度，人类 0.54，智能体 0.66。低分后下一局创新高，人类 13/39，智能体 52/238。重排后 Sonnet 5 的 LS 从 4.90 降到 2.23，Opus 5 从 4.10 降到 3.51。Kimi K3 每局约 0.56M token、0.313 美元，Max 68.5；Sonnet 5 为 0.73M token、1.33 美元，Max 55.9。Claude Code 配 Opus 5 每局 0.647 美元，OpenCode 为 2.57 美元。
最高分和学得最快可以不是同一个模型。证据不够就把轨迹压成规则，后面的局会执行那条禁令。原文留着，新反馈来了才改得动。Haunted Inn 里，Opus 5 能说出房间禁忌，仍按眼前能住的房间分完，后面的客人没有去处。
换壳的幅度大于换摘要。Opus 5 从 OpenCode 换到 Claude Code，Max 74.5 到 81.8，LG +21.3 到 +27.1，估计花费更低。GPT-5.6-SOL 换到 Codex，Max 57.0 到 74.3。这些模型按自家工具链训练。壳不匹配时，多记几条经验补不上。
人类更高，只成立于按峰值选出的 Top-1。全体平均 Max 43.6，低于 OpenCode 上除 GPT-5 Mini 以外的模型。智能体 Max 是三次峰值的平均，Top-1 是单人最好成绩。0.54 对 0.66、13/39 对 52/238 只来自固定局，重复观测也不独立，附录写成描述统计。
Memory 四项全胜主要在 Kimi K3。Opus 5 上 EvoTest 的峰值更高，三模型平均的 Max 也是 Reflexion。附录写明，GemForge 那条禁令不能证明压缩就是聚合差距的原因。Catnip、DreamGarden、Mola Tea、Patch Reality 的参考分是估计值。挑战局先拿智能体做试点，再给 3 倍权重。主实验每个模板只钉一个种子。GPT-6 Astra 用确认账单 150 美元（600 局），其余成本是标价估算，部分记录缺 token。实验不更新权重。