Think Before You Act: Decision Gate for LLM Agents
Iftach Shoham, Yuval David, Offer Akrabi, Erez Bilgory, Ido Levy, Sami Marreed, Sergey Zeltyn, Segev Shlomov
cs.AI
2026-10-28
JevAct 在写调用和交卷执行前,用代码核对工具状态,再用 Kev 概率把关。八个模型在 Telecom 上的三连成功率全部上升,Opus 4.6 从 39.5% 升至 80.7%,Airline 则有升有降。
订票、改记录、取消订单一旦发出,环境已经改掉,后面再解释也撤不干净。排障做到一半就把用户转人工,或口头宣布做不了,这一轮同样结束。ReAct 让模型边推理边调工具,Self-Refine 和 Reflexion 用事后批评去改下一次提案。动作提交之前,没有一步对照领域策略做核对。
自由文本裁判还得再解析才能放行,前沿模型逐条审也贵。JevAct 只在写调用和交卷前插一道门。出动作的仍是原来的 Agent,门不替它选动作。
离线时 Claude Opus 4.6 把领域策略和工具参数编成是非题、布尔放行规则、从工具返回里算事实的 Python 函数,以及交卷清单。编译时有一条硬约束:对话里没讨论过的条件,不算已经排除。否则「开通漫游」会被收成「或者用户不出行」,清单上就少了「先问用户在不在出行」。开发调用上高置信违规超过 10% 的题会被丢掉,已解决回合里被标记超过 5% 的交卷步骤也一样。
在线四拍是提案、触发、检查、提交或重写。不涉及写或交卷的消息直接执行。写门最多打回两次,交卷检查一次。被标记的提案丢弃,不执行,也不进历史;反馈只附在这一次重写上。预算用完就免检提交,门不能把 Agent 永久卡住。
工具记录里的日期、金额、次数由代码判定。要读对话的题交给 Kev-27B,它是 Qwen3.8-27B 的决策模型微调:对固定选项做一次前向,直接给出概率,不生成文字。同一提示上的题共享这次前向。写门只有 P(yes)≤0.05 才把答案记为否,否则记为是。代码发现违规或规则不成立就打回,反馈点名失败项;第二次仍失败,则要求改去回应用户。
交卷前,关键词先捞出像放弃的句子,Kev 再确认。某一步算没做完,需要「这个问题用得上它」的概率不低于 0.5,且「已经做完」的概率不高于 0.5。问题没解决又有步骤开着,就只打回这些步骤。
BFCL 没有成文策略,用户发言是固定的。回合结束时若报错仍含「needs to」或「must」,Kev 以不低于 0.6 的概率指认该调哪个工具,就要求去调,而不是问用户。状态变更前,若「用户或报错要求了这次调用」的概率不超过 0.05,就当未被请求打回。
同一模型的 ReAct 作对照,每题 3 次。pass@3 是至少成功一次的任务比例,pass^3 是三次都成功的比例。τ²-bench 用户模拟器为 GPT-4.1。Judge 一律是未再训练的 Kev-27B。
Telecom 共 114 题。八个模型两项都涨,平均 pass@3 加 16.0 个百分点,pass^3 加 16.9 个百分点。Opus 4.6 的 pass^3 从 39.5% 到 80.7%,pass@3 从 72.8% 到 100%。GPT-4.1 的 pass@3 从 45.6% 到 83.3%,pass^3 只从 11.4% 到 17.5%,覆盖拉开了,三次都稳的题仍少。Opus 5.5 已是最强基线,pass^3 仍从 74.6% 到 82.5%。实验比的是整套门,没有单独拆出交卷检查。
| 模型 | ReAct | JevAct |
| Opus 4.6 | 39.5% | 80.7% |
| Qwen3.8-27B | 57.9% | 81.6% |
| gpt-oss-120b | 28.9% | 51.8% |
| GPT-4.1 | 11.4% | 17.5% |
| Opus 5.5 | 74.6% | 82.5% |
表内为 Telecom 的 pass^3。
Airline 50 题,一题就是 2 个百分点。pass@3 四个模型上升,Qwen3.8-27B 保持 90.0%,gpt-oss-120b 从 68.0% 降到 66.0%。pass^3 四个上升、两个下降,gpt-oss-20b 从 48.0% 到 44.0%,DeepSeek-V4-Pro 从 68.0% 到 66.0%。GPT-4.1 的 pass@3 从 66.0% 到 82.0%,Opus 4.6 从 84.0% 到 92.0%。强模型很少被打回:Opus 4.6 每轮 0.08 条,Qwen3.8-27B 每轮 0.03 条。
BFCL 多轮 800 条。九个模型 pass^3 都涨,从 0.1 到 9.6 个百分点,GPT-4.1 由 38.2% 到 47.8%,Gemma 4 31B 只由 61.5% 到 61.6%。pass@3 四个升、五个降,降幅 0.2 到 3.6 个点。三次全对变多,任务覆盖没有同步变宽。
Airline 上 GPT-4.1 单次试验:ReAct 的 pass^1 为 50.0%,完整写门 72.0%,只留代码 68.0%,只留 Kev 题 57.1%,无条件打回每条写调用仍是 50.0%。三次运行且用户模拟器换成 gpt-oss-120b 时,无条件复查把 GPT-4.1 的 pass^3 从 26.0% 挪到 28.0%,完整门到 40.0%（配对 95% 置信区间 +2.0 到 +26.0）；对 gpt-oss-120b 自己,复查或随机打回都能从 32.0% 到 42.0%,与完整门相同。
换 Judge 后,Airline 写门的 pass^1 相对 ReAct 提高 9.4 到 18.7 个百分点。GPT-4.1 配 Kev-27B 为 72.0%,生成式 Judge 在 67.3% 到 72.0% 之间。Kev 估计每任务 0.0003 到 0.0017 美元,开源生成式模型 0.0020 到 0.0040 美元,API 模型 0.0127 到 0.0231 美元,均不含 Agent 自身推理。
Judge 变大不保证更好。Telecom 上 Opus 4.6 的 pass^3,Kev-9B 为 97.4%,Kev-0.8B 为 90.4%,Kev-27B 为 80.7%。609 个相同交卷状态中,9B 与 27B 决定一致率 97.0%,0.8B 为 90.6%。阈值按 Kev-27B 设定,不能直接当成准确率排名。Airline 有 41% 的写检查输入超过 8192 token,小模型在长输入上更容易漏判。
不改 Agent 的参数、提示和工具,在现有 ReAct 循环外加一道可开关的门。排障类任务的高频错误是交卷太早,Telecom 上八个模型全部受益。Airline 上只留代码就能从 50.0% 到 68.0%,Kev 再补到 72.0%,能写成断言的事实不必交给模型。决策模型一次前向给出全部概率,Judge 费用比 API 生成式低约一个数量级。
这是护栏上的渐进改进。Airline 与 BFCL 的 pass@3 有升有降。适合策略写得成检查、且容许一两次重写的工具 Agent。
两处是论文写明的。用户模拟器换成 gpt-oss-120b 后,Telecom 的收益消失,pass^3 变动 -1.8 个百分点,95% 置信区间 -7.9 到 +4.4。260 条带标签的开发写调用里,101 条错误调用有 42 条碰不到任何编译出的问题,题面写的是策略条款,不是用户到底要不要这一步。
gpt-oss-120b 当 Agent 时,随机打回和完整门的 pass^3 同为 42.0%,裁决内容可能只是多给了一次重写。Airline 消融是单次试验。交卷检查在 Airline 的离线测试里标记了 26% 已解决回合,主实验因此关掉它,Telecom 的涨幅不能直接搬到订票。阈值和丢题名单按 Kev-27B 设定,端到端延迟和安全结果都还没报。