STS2-Bench：测长程决策
MrBoxChen · reddit · 2026-07-13
这篇帖子介绍了 STS2-Bench：一个用《Slay the Spire 2》评测大模型长程决策能力的基准。
评测设计
- 模型要在不断变化的游戏状态中做决策：选卡、选路线、分配资源、权衡短期收益与长期生存。
- 评测强调真实对局中的不可逆决策，不允许读档（nosl），也没有未来预览。
- 作者用同一套随机种子，让 7 组模型/配置各跑完整局，评分统一。
主要结果
- 3 个 seed × 7 个模型，共 21 局全部失败，没有任何模型通关。
- 最好的成绩是到达 Act 3；整体来看，Floor 17（Act 1 boss）成了集体“死亡墙”。
- Sol 在中位数分数、平均排名和纯游戏分数上最稳。
- 成本差异很大：DeepSeek 三局总共只花了 $0.33，而 Opus 三局约 $91；总计 21 局约消耗 4.7 亿 tokens、$336。
作者想说明的点
这类长程、随机、不可逆环境，能暴露很多单轮 benchmark 看不出来的能力差异，尤其是模型在连续决策中的稳定性。
所属事件:STS2-Bench 用爬塔 2 评测模型长程决策(2 条相关)→
「模型」频道最新
- 博主故意误导 Ling 3.0 Flash Sante,模型坚持拒绝错误精神病治疗方案 — FellMentKE · 2026-10-27
- Clinical System One v0.2:更难测试下顶级医疗 AI 准确率跌至 65% — MaziyarPanahi · 2026-10-27
- ChatGPT 把 404 Media 当科技公司客服，大批用户被推荐去找记者修手机 — 404 Media · 2026-10-26
- 用 Claude 讲清压限器自动增益补偿，音频工程师直呼最佳示范 — teropa · 2026-10-26
- ChatGPT 把记者当客服：404 Media 收到大量 AI 代写爆料邮件 — 404 Media · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26