Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively?
Minghan Wang, Boyuan Wang, Jinhang Zuo, Yuxin Tao, Fang kong
cs.CL
2026-09-30
只换工作流可靠性、固定其余一切:坏指南让前沿模型最多掉 43 分;只用坏工作流训练 Qwen,伤害从 20 分压到 7 分,RL 找回好指南收益。
Agent harness 是包在模型外层的脚手架,组织规划、反馈和工具调用,最常见的形态是人写的工作流:一串分步目标,模型照着执行。这套安排的前提是设计者比模型可靠。模型能力强了之后,前提开始反转:模型自己能找到更好解法时,照抄工作流反而被捆住手脚;把工作流撤掉,又丢掉确实有用的指导。部署里 harness 和执行者错配很常见,这是个真问题。
论文把「指导有用时跟着走、误导时越过去」叫做 thinking outside the box,并论证它是任务分数测不出来的维度:一个 benchmark 满分的模型,可能照着一份过期 SOP 一路错到底。现有 agent 评测要么测任务完成,要么测流程遵从,没有单独隔离「指导可靠性变化时,模型如何调节依赖」。
Box²-Bench 靠控制变量:任务、环境、评测器、模型全部固定,只换工作流。五个条件:无、全程好、全程坏、前半好后半停(Partial)、前半好后半坏(Mixed)。Partial 和 Mixed 共享同一段有用前缀和同一个切换点,两者相减,就得到「继续被误导」相对「没有后续指导」的净效应。由此定义四个配对指标:Δuse(好指导增益)、Δbad(坏指导伤害)、Δstop 和 Δswitch(指导消失或变坏后的恢复力)。
工作流由固定外部模型批量生成、另一个模型独立审核。坏工作流走「铺垫-出错-传播」结构:前四步低信息铺垫,第五步放一个具体错误决策,后三步把错误状态执行到底。审核通过即冻结,所有被测模型看同一套字符串,排除提示词差异。
训练只用坏工作流,好工作流整个留给评测。反事实 SFT 先采样基座拿到验证过的成功解,再让 planner 合成好坏成对的工作流,训练样本是「题目+坏工作流 → 正确解」。这个目标有个关键性质:它对模型在好工作流下的行为零约束,一刀切无视工作流和有选择地推翻同样能拟合,保住利用只能靠泛化。之后接 outcome-based RL,用 GRPO 式组相对优势加 clip,奖励只看任务成败(数学看答案对错,WebShop 看环境回报),从不检查轨迹是否照工作流走。
| 设置 | 指标 | 结果 |
| 前沿模型,12 组模型-任务对 | 好工作流 | 8 组提升,AutomationBench 上 GLM 5.2 +16.8 分 |
| 前沿模型,12 组 | 坏工作流 | 12 组全降,2.343.3 分;OpenR1-Math 上 Gemini 3.7 Flash 从 76.7% 掉到 33.3% |
| 前沿模型,12 组 | Mixed vs Partial | 10 组更低,好前缀建立的信任惯性延续 |
| Qwen3-4B,AIME 2026 | Δbad | 基座 -20.0 分,SFT 后 -6.7 分 |
| Qwen3-4B,AIME 2026 | Δuse | 基座 +13.3,SFT 后 -3.3,加 RL 回到 +6.7 |
| Qwen3.5-9B,WebShop | Δbad | 基座 -9.8 分,SFT 后 -0.6 分 |
SFT 单独上会把好工作流收益一起打掉,学到的更接近「工作流一律可疑」;RL 把天平拨回来,同时保住大部分抗误导增益。AIME 上 Mixed−Partial 差距从 -14.4 走到 +1.1,指导中途变坏时模型能松手了。规模解决不了这个问题:开源侧六组里坏工作流伤了五组,Qwen3-8B 在 AIME 掉 26.7 分,Qwen3.5-27B 在 WebShop 掉 11.4 分。
迁移实验不加任何训练直接测。多智能体 EoM 环境里,SFT 后的模型回合成功率从 18.0% 升到 22.7%,把同伴的错答案改对 11 次、只改错 1 次,基座是 2 比 2;LongMemEval 记忆测试里,坏记忆条目下得分从 65.6% 升到 74.4%,好记忆下 92%95% 的水平保持,且坏记忆下所有答对的轨迹都先查了档案库。
做 agent 平台和 harness 的人多了一个可直接落地的体检项:上线的工作流不会永远对,执行者的选择性依赖是最后一道兜底,四个配对指标拿来就能量。训练配方也便宜,只需要坏工作流和任务成败信号,不需要好工作流标注。要分清两部分的成色:基准结论(前沿模型会被误导)扎实,训练结论(4B/9B 级模型、百余条 RL 数据)目前更像可行性验证。
作者自述两条:工作流由固定外部模型代替真人设计,没覆盖人类多样的意图和错误模式;只测冻结工作流,交互式、模糊、半对半错的指导没碰。审核环节是模型裁决模型,论文明确不报标注一致性系数。
读下来另有三点。规模小:前沿评测每个领域只有 30 个任务,AIME 只有 30 题,RL 训练集是 111 个数学 prompt 和 153 个 WebShop 任务,方向可信、幅度未必稳;记忆迁移只有 30 题 × 3 次采样。更根本的张力没讨论:模型一路被训成服从显式指令,「敢推翻白纸黑字的流程」在评测里是能力,在生产里可能是缺陷,用户明确要求的 SOP 被模型无视时算谁的错,这篇没有触及。