论文：决策模型控制器让 agent 成本升 19%，成功率却零提升
Naman Vats · hf · 2026-10-21
BIT Mesra 的 Naman Vats 在 Terminal-Bench 2.1 上做了预注册实验：固定 Claude Sonnet 5.5 终端 agent 主循环，只更换决策控制器（无/确定性规则/小模型 Claude Haiku 5.5/被测决策模型 Jev 1.13），比较其「停止、验证、换方法」小决策的效果。
关键发现：
- Jev 使每次尝试成本上升 19%（几何均值比 1.19，95% CI 1.02–1.36），通过率完全持平（73.0% vs 73.0%），比安慰剂控制器贵 22%
- 离线排序任务上 Jev 确实更强（AUROC 0.78，高于 Haiku 的 0.62 和随机 0.50），但校准很差：认为会失败的任务实际 87% 通过，导致大量无谓验证
- 三个控制器从未主动放弃过一次运行——「有信息量的决策信号并未转化为有用的干预」
论文附代码（github.com/namanvats/decision-model-controllers），对 agent scaffold 中「用便宜模型当裁判」这一流行做法提出了实证反例。
「编程与Agent」频道最新
- OmniGraph 开源：给 AI Agent 记忆装上 Git 式分支与合并 — techNmak · 2026-10-21
- 2x5090 本地跑 Qwen3.8 做 agent 编程，vLLM 成唯一不炸缓存的方案 — TooManyPascals · 2026-10-21
- Hermes Agent 游戏插件:一句话生成精灵图、音乐、3D 并试玩抓崩溃 — Teknium · 2026-10-21
- 每周都有新 AI 工具？用一个网关统一授权免去反复重连 — verrsane · 2026-10-21
- 官方不出 GUI，Pi 编程 Agent 社区自建四款图形界面 — solyarisoftware · 2026-10-21
- 借 AI 两天把 Laravel 应用从 5.8 一路升到 11，作者称此前难以想象 — hermanschutte · 2026-10-21