Good Judgment, Bad Advice: Decision-Model Controllers Raise Agent Cost Without Improving Success
Naman Vats
cs.AI, cs.LG
2026-10-17
预先规定的对照钉死终端循环，只换控制器。315 次试验里 Jev 把单次成本抬高 19%，通过率与不干预同为 73.0%。
终端 agent 的账单主要在推理模型上。循环外面的控制逻辑决定何时停止、复查或换打法。
类型化决策模型就是干这个的：读入状态和一组固定选项，返回一个选择和概率。Jev 1.13 每百万输入 token 收费 0.042 美元，本实验里一次决策约 0.00008 美元。要省钱，判断得含有结局信息，而且出手得让轨迹变短。只测判断的评测回答不了这件事。
这篇把 Sonnet 5.5 和整条循环钉死，只换控制器：不干预、手写规则、Haiku 5.5，以及按 Jev 开发期选择频率随机抽选项的安慰剂。安慰剂用来区分「判断内容」和「只是在中途插话」。
Terminal-Bench 2.1 校准后留下 21 道留出题（14 易、3 中、4 难）。8 道开发题只提供安慰剂频率，没有调参。5 条臂各跑 3 次，共 315 次试验，上限 60 步、1.00 美元。
循环每步调用一次 Sonnet 5.5，可以执行 bash，也可以请求结束。命令在 Daytona 沙箱里经 Harbor 执行。触发器每条臂都记录，包括从不咨询控制器的那一条。
规则写死：T1 和 T2 选恢复，T4 选继续，T3 默认复查，除非刚刚验证过。连续失败四次且步数已用掉 40%，才允许放弃。Haiku 5.5 关掉推理，和 Jev 读同一份说明。安慰剂不看状态，进度题继续 0.625、调查 0.125、恢复 0.25、放弃 0，结束题复查 0.348。护栏盖过控制器：步数未到 40% 的放弃改成恢复；复查两次之后，第三次结束请求必须接受。确认性比较预先定为 Jev 对不干预，成本用各题花费之比的几何平均，通过率跌幅界是 10 个百分点。
Jev 对不干预的成本几何平均比是 1.19（95% 区间 1.02 到 1.36，p=0.026），通过率同为 73.0%（差 0.0 个百分点，区间 −11.1 到 +12.7）。单侧下界 −9.5 个百分点，刚落在 −10 的界内。这不是不劣效的证明。降成本的假设被拒绝。
| 控制器 | 通过率 | 美元/次 | 美元/解出 | 步数 | 复查/次 |
| 不干预 | 73.0% | 0.177 | 0.243 | 13.3 | – |
| 规则 | 73.0% | 0.191 | 0.262 | 15.6 | 0.92 |
| Haiku 5.5 | 76.2% | 0.213 | 0.280 | 17.8 | 1.30 |
| Jev 1.13 | 73.0% | 0.206 | 0.283 | 16.0 | 0.51 |
| 安慰剂 | 71.4% | 0.156 | 0.218 | 13.2 | 0.33 |
Jev 比 Haiku 便宜（成本比 0.81），贴近规则（0.96，区间跨过 1），比安慰剂贵 22%（1.22，区间 1.08 到 1.39）。通过率差异经校正后都检测不到，p 均为 1.00。相对不干预，规则、Haiku、Jev 的成本比是 1.24、1.47、1.19，安慰剂是 0.98。
结束题 53 个状态上，Jev 的 AUROC 为 0.78，规则 0.62，Haiku 0.60。这些运行 87% 通过，Jev 的平均结束概率却是 0.50，于是 29/53 被要求复查。按最大概率选，准确率 0.55，低于一律放行的 0.87。概率不低于 0.5 的 24 次里通过 23 次，低于 0.5 的 29 次里通过 23 次。进度题上没有控制器选择放弃，Jev 的 AUROC 只有 0.55。
Jev 每次尝试多花 0.029 美元，其中 0.011 美元花在第一条复查之后，其余来自更长轨迹（16.0 步对 13.3 步）。21 题里 15 题更贵，去掉任意一题后比值仍在 1.16 到 1.25。315 次试验里没有人选择放弃。Jev 每次决策 0.52 秒，占花费 0.11%；Haiku 是 1.46 秒，占 0.47%。
有信息的分数没有变成省钱的干预。不干预时，结束请求已经 87% 正确，复查多半在核对做对的工作。概率整体低于基率，按最大项行动就会频繁插手。最没把握的那一组仍有 79% 通过。17 次失败里有 10 次死于超时或预算上限。唯一用来省钱的动作是放弃，一次都没用过。
安慰剂在同一时刻给出随机提示，通过率打平，成本比 0.98。加价来自 Jev 的选项，不是来自「中途插了一句话」。
决策控制器该拿端到端成本去跟规则和安慰剂比，而不是只看 AUROC。调用开销不是瓶颈。问题在概率怎样映射成动作。一次尝试贵 19%，每道题都会贵 19%。
留出的 21 题里 14 题容易，中等题只有 3 道，通过率区间大约 ±11 到 13 个百分点。成本结论稳，通过率两边都弱。只测了 Sonnet 5.5、一条极简循环和 Jev 1.13。温度不能设，推理力度固定为高，宿主没有钉死。开源权重复现没有跑，宿主量化不一致。
安慰剂频率只来自 8 个进度决策和 23 个结束决策，放弃概率被写成 0，检验的是选项内容。离线标签是这一趟的结局，不是换成另一个动作之后的反事实。放弃护栏从未拦截任何请求，只能说明没有控制器提出放弃。更愿意停的策略会不会被 40% 步数门槛挡住，这里没有验证。