STS2-Bench：测长程决策
MrBoxChen · reddit · 2026-07-13
这篇帖子介绍了 **STS2-Bench**：一个用《Slay the Spire 2》评测大模型长程决策能力的基准。 ### 评测设计 - 模型要在不断变化的游戏状态中做决策：选卡、选路线、分配资源、权衡短期收益与长期生存。 - 评测强调真实对局中的**不可逆决策**，不允许读档（`nosl`），也没有未来预览。 - 作者用同一套随机种子，让 7 组模型/配置各跑完整局，评分统一。 ### 主要结果 - 3 个 seed × 7 个模型，共 **21 局全部失败**，没有任何模型通关。 - 最好的成绩是到达 **Act 3**；整体来看，**Floor 17**（Act 1 boss）成了集体“死亡墙”。 - **Sol** 在中位数分数、平均排名和纯游戏分数上最稳。 - 成本差异很大：**DeepSeek** 三局总共只花了 **$0.33**，而 **Opus** 三局约 **$91**；总计 21 局约消耗 **4.7 亿 tokens**、**$336**。 ### 作者想说明的点 这类长程、随机、不可逆环境，能暴露很多单轮 benchmark 看不出来的能力差异，尤其是模型在连续决策中的稳定性。