安全报告为何证明不了安全：对抗性场景下的论证缺陷

davidmanheim · x · 2026-10-19

AI 安全研究者 David Manheim 在与 @TheZvi 的讨论中指出，各类声称“已证明足够安全”的报告存在一个核心逻辑缺陷：你当然无法证明自己没有遗漏任何东西，但哪怕只用最基本的安全（security）思维也能看出，这种推理在对抗性场景下会失效——包括模型本身在内的其他主体会主动寻找未被缓解的漏洞。

他还补充提示了两点值得关注的批评：一是 Opus（模型）在前文讨论中指出的一些额外隐患；二是 Simon Mendelson 对 ML R&D 基准的质疑，认为该基准可能无法有效衡量真实的研发能力风险。