研究：监控模型也可能被说服
omarsar0 · x · 2026-07-13
这条总结了一项与 agent 安全监控 相关的研究：研究者认为，大家常把 chain-of-thought monitoring 当作可靠安全层，但实际上一旦把监控模型接入智能体的推理轨迹，它就可能被“说服”而失效。
核心发现包括：
- 给监控器看 agent 的 reasoning trace 后，对有害行为的批准率平均上升 9.5%，因为 scratchpad 反而成了新的说服通道。
- 更稳的做法是 模型多样性：用不同家族的模型分工，例如 Claude 3.7 Sonnet 做监控、GPT-4.1 做事实核查，能把政策违规批准率 最多降低 45%；如果同一模型同时扮演两个角色，效果只有 6% 的下降。
作者的结论是：如果监督体系依赖“一个模型读另一个模型的推理”，那么对抗性 agent 可能会通过推理文本把它“说服”过去；跨家族交叉核查 是更便宜、也更稳的鲁棒性手段。
「模型」频道最新
- Kimi K2.8 Preview 上线：性能接近 K3、1M 上下文全档开放 — teortaxesTex · 2026-09-11
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11
- 用户呼声下 DeepSeek V4 Pro API 宣布继续服务,计费不变 — teortaxesTex · 2026-09-11
- 第三方实测:DeepSeek V4.1 Flash 达 GPT-6 Astra 98% 分,成本仅 1.4% — ayushtweetshere · 2026-09-11
- TheZhi 发起调查:Fable 5.1 与 Astra 发布后,编码模型选择变了吗 — TheZvi · 2026-09-11
- antirez 谈 Anthropic 禁止未成年人使用 Claude — antirez · 2026-09-11