研究：监控模型也可能被说服

omarsar0 · x · 2026-07-13

这条总结了一项与 agent 安全监控相关的研究：研究者认为，大家常把 chain-of-thought monitoring 当作可靠安全层，但实际上一旦把监控模型接入智能体的推理轨迹，它就可能被“说服”而失效。

核心发现包括：

给监控器看 agent 的 reasoning trace 后，对有害行为的批准率平均上升 9.5%，因为 scratchpad 反而成了新的说服通道。
更稳的做法是模型多样性：用不同家族的模型分工，例如 Claude 3.7 Sonnet 做监控、GPT-4.1 做事实核查，能把政策违规批准率最多降低 45%；如果同一模型同时扮演两个角色，效果只有 6% 的下降。

作者的结论是：如果监督体系依赖“一个模型读另一个模型的推理”，那么对抗性 agent 可能会通过推理文本把它“说服”过去；跨家族交叉核查是更便宜、也更稳的鲁棒性手段。

「模型」频道最新