Evaluating Bounded Autonomy in Regulated Agentic AI: A Diagnostic Harness with Constitutional Rewards, Escalation Labels, and Runtime Governance
Dipankar Sarkar
cs.CL, cs.AI, cs.LG
2026-09-28
提出 RegLLM 评测 harness,把该不该转人工做成可训练信号;两次同配置 DPO 试点指标完全对调,暴露小样本 agent 评测的噪声底。
LLM agent 正在被推进金融合规、医疗建议、法律分诊这类受监管领域,这里的错误成本是监管罚款、受损的客户、漏掉的义务,不是一句可以重新生成的回复。现有两条路线都接不住。RLVR(用可验证奖励做强化学习)在数学和代码上跑得通,因为对错机器可判;监管建议没有这种对错,专家对「一条原则怎么用到一组事实上」存在合理分歧。guardrail 一类的外围拦截工作已经很成熟,却没回答受监管工作流里最核心的决策:这件事 agent 该自己答,还是转给有资质的人。在今天的系统里,这个决策活在手写的阈值里。
切入点是给每个任务打一个 shouldescalate 标签。「行动还是转人工」由此变成可验证的训练信号,和「引用了真实条款」一样进 reward,可测、可训、可审计。
RegLLM 是一个诊断性 harness,分几层:
离线参考运行(n=12,词面基线策略,启发式 judge):
| 指标 | 基线 | +运行时治理 |
| 任务成功 | 0.08 | 0.25 |
| 引用有效性 | 0.75 | 1.00 |
| escalation recall | 0.00 | 0.67 |
| 不安全动作率 | 0.33 | 0.08 |
确定性 supervisor 在这个不会自己转人工的弱基线上,把 escalation recall 从 0 拉到 0.67,不安全动作率砍到约四分之一,引用有效性补到 1.0。
两次 GPU 试点(n=8,同 seed、同评测集、同代码 commit、同超参,单张 24GB 级租用卡,Qwen2.5-3B LoRA/DPO):
| 配置 | Run A:成功 / recall | Run B:成功 / recall |
| RL-base | 0.25 / 1.00 | 0.12 / 0.50 |
| RL + 答案质量 adapter | 0.12 / 0.50 | 0.25 / 1.00 |
| RL + escalation-aware adapter | 未训 | 0.12 / 0.50(与 base 持平) |
数字完全对调:Run A 的 base 等于 Run B 的 adapter,反过来也一样。同一个答案质量 adapter 在 Run A 把 recall 从 1.0 压到 0.5,在 Run B 反向拉到 1.0;专门为修 Run A 假设的失败模式设计的 escalation-aware adapter,在 Run B 没有产生可测变化。引用有效性也在两轮间从 0.50 落到 0.38。两轮只换了 GPU 主机,容器镜像、包微版本、CUDA 确定性 flag 都没固定,浮点顺序和 kernel 选择是方差的候选来源。
运行时治理层在两次 GPU 试点里零干预:模型每个回答都挂了条款,直接绕过无引用门,该转人工没转的轨迹又没走到终态答案让门检查。
产出不在某个 adapter,在两件事。escalation 标签把「有界自治」从手调阈值变成可训练、可审计的目标,这是受监管 agent 一直缺的地基。更硬的教训是:在 n=8、30 步 DPO、10 到 20 对偏好这种常见试点预算下,配置方差能把想测的 adapter 效果整个吞掉,单轮 smoke run 报出的方向,正反都不算数。做 agent 评测的团队该把多种子和更大的评测集写进预算。
适用条件也划得清楚:领域有成文规则手册、能界定越界问题、有可微调的小开源模型。它不是交钥匙的合规产品,宪法、语料、escalation 标签都要使用者自己补。
作者自己列得很全:n=12 和 n=8 只算诊断演示;单 seed、单基座模型、单领域;escalation 标签由作者从模板生成,没有合规专家标注,也没有 inter-rater 协议;grounding 只是词面重叠代理,judge 是启发式规则;运行时治理在 GPU 试点零干预;除 FCA 外没有第二个领域实例化。
另有三点没被验证。方差这个主发现自己也只有两次运行支撑,它是对试点规模的方法论批评,不是对 DPO 或 escalation 训练的判决。两轮的答案质量 adapter 一个用 10 对偏好、一个用 20 对,跨轮比较混入了数据量差异。reward 权重和 judge 选择没有敏感性分析,「一份宪法管三处」在换 judge、换权重后是否成立,同样没有答案。