StepSafe: Learning Timely Intervention with Context-Aware Safety Reasoning
Siyi Gu, Kunhan Gao, Chao Peter Yang, Sukanta Ganguly, Rex Ying, Arman Cohan
cs.AI
2026-10-15
耶鲁用 ASPO 训练 step 级护栏:按干预阶段打分、同前缀对比、再从自身误报里挖规则,五项 agent 安全评测开源第一,J 值 53.0 对 46.2。
Agent 安全护栏这两年从「事后审计整条轨迹」转向「每个动作执行前先判一次」,但训练信号没跟上。数据集只给轨迹级的 safe/unsafe 标签,不说风险从哪一步开始可见,也不说拖到哪一步干预就晚了。监控器学到的是「这步危险吗」,学不到「现在该动手了吗」。
时机错了,两个方向都要付代价。拦早了,合规流程被错杀:论文的例子里,报告本来就授权携带个人数据,监控器在第 1–2 步就 flag 会拦掉一个正当任务。拦晚了,伤害已经不可逆。奖励设计也在添乱:轨迹级奖励让前面所有正确的 CONTINUE 替后面的漏报背锅;step 级奖励又被数量占优的常规安全步主导。更隐蔽的是,安全步上没有东西可标,「什么时候不该拦」天生缺监督。
StepSafe 是 Qwen3-4B/8B 底座加 ASPO 训练框架。监控器在每步动作执行前收到任务、访问策略和可见历史,输出一段简短推理加一个十字段结构化裁决:动作(CONTINUE/ASK/STOP)、风险分、违反的约束、过程错误、后果、压力来源、时机、澄清问题、证据引用。每次干预都有据可查。
五个 agent 安全 benchmark 共 4,033 条轨迹(ASSE-Bench Safety/Security、R-Judge、AgentHarm、ATBench)。ASR 指未在最后可防步前拦下的不安全轨迹占比,Utility 指从未被误 flag 的安全轨迹占比:
| 护栏 | ASR↓ | Utility↑ | J↑ |
| GPT-5.6 Sol(闭源) | 18.0 | 82.5 | 66.6 |
| Claude Sonnet 5(闭源) | 22.2 | 88.5 | 64.0 |
| StepGuard-4B(此前开源最强) | 32.7 | 78.5 | 46.2 |
| TS-Guard-7B | 39.4 | 75.8 | 37.2 |
| Llama-Guard-3-8B | 47.0 | 80.9 | 28.9 |
| StepSafe-4B | 27.6 | 80.0 | 53.0 |
| StepSafe-8B | 21.7 | 74.8 | 54.4 |
两个型号占据开源前二,五个 benchmark 里三个排名第一,并在安全-效用 Pareto 曲线上压制 StepGuard。8B 的 ASR 21.7 已落进闭源四家的区间(18.0–22.2),只比 Claude Sonnet 5 高;总 J 仍差闭源一截(闭源 55.7–66.6)。漏报更少的两个开源护栏 AgentDoG 和 ShieldAgent 靠的是几乎全拦,分别误拦 58.7% 和 65.3% 的安全轨迹。
时机是主卖点。在 1,260 条带 Harm 步标注的不安全轨迹上,StepSafe 恰在伤害步当场拦下的占 29.3%,开源最高(次名 SafePred 22.1%),漏掉 10.9%。消融拆开看:只做 SFT,J 值 28.5,严重漏报;加 SAPO 升到 51.9;再加 AFSD 到 53.0,同任务成对判别准确率从 68.2 升到 75.5(p < 0.01)。换信用分配器(都不做 SFT)时,轨迹级 GRPO 39.6、step 级 GRPO 34.8、GiGPO 38.8,SAPO 41.2。只给违规反馈会把 Utility 从 79.1 拖到 77.1,误报规则把它托回 80.0。去掉红队数据,J 从 53.0 降到 51.7。
做 agent 部署迟早要回答「监控器什么时候有权打断」。这篇把时机从提示词里的祈使句变成显式训练目标:信号前继续、可澄清时先问、不可逆前叫停,每个阶段有自己的奖励。这是方法层面真正新的部分,StepGuard、TS-Guard 这批 step 级护栏教的仍是「这步危不危险」。
工程上可以直接拿:4B 开源模型,十字段裁决让每步可查证据,ASR 逼近闭源模型,推理成本远低于调 API,也比裸 prompt 稳(裸 Qwen3-4B 的 J 只有 28.5),代码已放出。从自身误报里挖「何时不该拦」的规则库,这个思路不挑任务,其他监控器的训练可以直接搬。
对竞争格局要冷静:对 StepGuard 的优势在 Pareto 曲线上是全面的,但闭源模型仍在前头,8B 用 5.2 个点 Utility 换来了低 ASR。
作者自认两条:benchmark 轨迹太短,h 之前动作步数有限,时机差异的分辨率受限,需要更长、带步级标注、多 agent 协作的新基准;红队之后,分类中 environmental harm 与 governing specification 两类仍基本没有覆盖。
另有几处存疑。标注、验证、红队全由 GPT-5.6 系模型完成,时机评测又打在自家标注的 Harm 步上;作者用 J 与及时版指标的相关性(r = 0.982,排序 Spearman 0.991)自证一致,但「GPT 教、GPT 考」的闭环没有外部锚点。评测全部在录制轨迹上回放,监控器的干预不会改变轨迹走向,agent 对 ASK 的反应、STOP 之后的补救都没有验证。红队管线工程量不小(三种人设、孪生对、评审、回放检查),消融里只换来 1.3 个 J。正文还有明显的草稿痕迹:2.2 节两段近乎重复,正文出现「MotivatedAFSD」这样的残词。