ControlScope: Workflow Revision and Reliability in LLM Agents
Jingjie Ning, Xueqi Li, Yibo Kong, Dongting Li
cs.AI, cs.CL, cs.SE
2026-09-28
同一执行状态比较三档改写权:reasoning 下全量重写 20 题多对 2-3 个,fast 配置反而更差,一个面板多对 2 题耗 29.7 倍 token
CodeAct 一类框架让模型先生成可执行程序,再由程序去调工具。程序跑起来之后,模型还能改它多少?现实里至少三种口径:让它跑完(KEEP);只改下一个工具调用的数据参数,比如换个文件路径(ARG);剩余工作流整体换掉,比如把逐条读取改成批量读(FULL)。GraSP 等工作比较过局部修复与全局重规划,反思类方法在 trial 之间改写输出,但没人把「允许改多少」当成嵌套变量,固定同一份执行状态做受控比较。这篇补的就是这块:权限放到多大,收益多少,代价是什么。
ControlScope 把「能改什么」定义成三个嵌套操作集,所有分支从同一个 (h, s) 出发:h 是完整公开执行记录(目标、观测、当前程序、待执行调用),s 是环境状态,底层模型、API、权限一致。FULL 包含 ARG,ARG 包含 KEEP,所以 FULL 的任何损失只能来自模型实际选了什么,不是权限不够。
| 设置 | KEEP | ARG | FULL |
| 文件任务 20 题,reasoning reviewer,3 次抽签 | 13 | 13-14 | 15-16 |
| 文件任务 20 题,fast reviewer,4 次抽签 | 13 | 11-13 | 10-13 |
| ALFWorld 87 题(fast 与 reasoning 同分) | 85 | 86 | 87 |
| ALFWorld 134 题,4 个场景 | 134 | 134 | 127 |
| AppWorld 585 实例,Normal split | 144 | 141 | 145 |
方向随配置翻转。reasoning reviewer 下 FULL 稳定多对 2-3 题;换到 fast,四次抽签最好打平、最差少对 3 题。ALFWorld 两个队列方向相反:87 题 FULL 多对 2,134 题 FULL 丢 7。AppWorld 上 FULL 每个 split 只多对 1 题,配对增益 +0.60 与 +0.24 个百分点,bootstrap 区间跨零,而每次重写刷新 250 请求配额的规则本就偏向它。
代价一侧,87 题队列 FULL 比 KEEP 多对 2 题,输出 token 是 KEEP 的 29.7 倍;比 ARG 省 34.5% 的输出,但 98.3% 的省量集中在两个 heating 任务,那里 ARG 出了 28 次无效 review。
两个诊断最有信息量。单点早干预:216 对配对抽样里 ARG 与 FULL 终局完全一致,432 个决策中 391 个原样继续,只有 18 次参数补丁、23 次工作流替换。冻结回放:文件时间分类任务两个失败 run 里,被选中的替换若保留执行,49/71 和 46/62 本可达成目标;文件整理的失败 run 改了 35 次耗尽预算,只保留第一次替换再交给普通规划,77 次调用完成。有效修复就在策略自己的输出里,是被后来的 review 打断的。
另外三条:中点日程下持续 review 比 one-time 多对 1 题(14/20 对 13/20),review 次数 294 对 20;五调用保护规则省 19.4% 输出、20 题里丢 1 题;一个案例里 ARG 把读取路径从 2 条扩到 75、11 次调用完成,被采样到的 FULL 不走这条近路,按原计划跑了 25 次。
对做 agent 系统的人,建议直接可用:参数编辑和整体重写两个接口都该暴露。批读和解析器修复只有宽权限做得了,一次参数编辑又能省 14 次调用;review 时机和有效返回率要跟成功率一起进评测,同一面板上 ARG 的无效 review(51 次)远多于 FULL(16 次),接口本身就在影响模型发挥。
更关键一层:granted 不等于 realized。扩权不保证模型选中更好的操作,更不保证选中的操作跑得完。「给自主权就有适应性」这个默认假设,在 fast 配置和 134 题队列上直接不成立。这不是渐进改进,是一次测量:把一个架构选择拆干净,给出方向和价目表。
作者自述的:文件任务只有 20 题、7 个类别,bootstrap 区间宽到 P2 fast 一档为 [-30.0, -4.2] 个百分点;打断证据停在 case 级;结论依赖源程序,同一任务换一个源程序方向就能翻。全文只用 deepseek-flash 一条模型线,没有跨模型验证。AppWorld 的配额刷新偏向 FULL,真实差异可能比报告的还小。
两处存疑:无效 review 数量随档位变化,比较里混进了「接口让模型更容易返回无效操作」的因素,不纯是权限范围的作用;ALFWorld 两个队列方向相反,论文归因于队列构成,没有给机制层面的解释。论文还披露从选题到写作全程借助生成式 AI,作者对照执行记录做了核验。