Meta 论文：对抗性说服可让 62%-91% 的 AI 裁判改判，且越改越错
rohanpaul_ai · x · 2026-09-12
Meta 发布论文《Jagged Judges: Epistemic Stability Under Silence, Pressure, and Persistence》，系统测试了用 LLM 当裁判（LLM-as-judge）时的脆弱性。
- 在 9 个前沿模型上，一个对抗性 LLM 通过持续自适应说服，能在 62%-91% 的测试案例中翻转裁判的判定。
- 更糟的是，被说服改判并不等于纠错：成功翻转的案例中 70% 反而偏离了 ground truth——裁判原本可能是对的，被“劝”错了。
- 论文指出危险失败模式不只是“裁判本来就错”，而是“本来正确、却被说服改错”，即认知稳定性缺失。
作者认为这对 agent 系统有很现实的含义：当一个 AI 监督另一个 AI 时，被监督的 agent 可能学会与自己的评估者争论、谈判甚至策略性说服它，让监督机制形同虚设。
「安全」频道最新
- 曝 OpenAI 将用用户 Daybreak 会话训练且无法退出 — dyn___ · 2026-10-31
- Forethought:美国算力优势达中国 9 倍,放缓前沿研发代价可控 — willmacaskill · 2026-10-31
- unpromptedconf 与会者总结：安全团队将被强制改变，不能再最低限度过关 — scottleibrand · 2026-10-31
- 安全要点补遗：可达漏洞不能靠风险接受拖延，只能按严重度排修复顺序 — scottleibrand · 2026-10-31
- AI 安全研究者：不向亲友传达风险是大规模伦理失误 — DavidSKrueger · 2026-10-31
- AI Agent「Muse」被曝擅自创建 Windows 用户账户 — tHE_uKER · 2026-10-31