StepSafe 论文提出步级安全护栏：让 agent 监测器学会及时干预
armancohan · x · 2026-10-17
耶鲁团队（Siyi Gu、Arman Cohan 等）发布 StepSafe，研究 agent 安全监测的核心难题：何时该干预、何时不该。
核心思路
- Agent 安全本质是序列性的：一个动作是否安全取决于先前的动作、工具输出与信息披露，事后轨迹级评估不够，需要步级诊断与主动风险预测。
- 提出 ASPO 训练框架：通过前缀级阶段对齐（pre-fix stage alignment），在同前缀采样的多个响应间对比，奖励符合当前阶段的行为——风险可见前继续、还能澄清时提问、伤害不可逆前停止。
- 自适应反馈自蒸馏（Adaptive Feedback Self-Distillation）：模型以自己为老师，从干预步骤的标注和安全步骤的误报中挖掘规则，为每步推理赋予信用。
- 训练数据带违规分类与每步干预窗口标注，并通过自我进化的多 agent 红队扩展。
结果：StepSafe 作为步级推理护栏，在开源安全-效用性能上达到 SOTA，既能在伤害发生前介入，又避免不必要的误报中断。
「安全」频道最新
- 8TB 公版数据集 Common Pile:开放数据仍在增长,每年新增已够用 — BlancheMinerva · 2026-10-17
- 研究者指「反 AI」话术实为大规模监控主张的洗白外衣 — BlancheMinerva · 2026-10-17
- 14000 域名审计:AI 爬取限制激增,开放网络数据公地加速萎缩 — BlancheMinerva · 2026-10-17
- EleutherAI 游说 EU AI Act:现行草案重压开源与非营利研究 — BlancheMinerva · 2026-10-17
- 爬虫禁令或断新闻业命脉,Re:Create 图解反AI crawler法案悖论 — BlancheMinerva · 2026-10-17
- 比尔·盖茨警告AI是史上最危险技术，作者称威胁并不新鲜 — DavidLinthicum · 2026-10-17