DeepMind 研究员：对齐 rigor 需达密码学级，AI 已挖出 12 个 OpenSSL 0day
geoffreyirving · x · 2026-10-23
DeepMind 对齐研究员 Geoffrey Irving 发长线程讨论「对齐到底需要多严格」。他给出的框架是把严格程度分为四级：AI 公司现在的粗放经验主义（Level 1）、航空/核电式系统安全论证（Level 2）、密码学式条件证明（Level 3）、无假设的纯数学证明（Level 4），而对齐所需的水准可能落在 2 到 4 之间的某处。
- 为什么自动驾驶的低严格度够用：因为环境并非完全对抗——大多数人不会拼命骗自动驾驶车撞人；但密码学面对的是完全对抗环境，所以它靠「假设某个原语安全，再证明上层系统一旦被攻破则原语也被攻破」的条件证明，加上密码学家花数十年试图打破原语来保证强度。
- 关键风险：AI 很擅长对抗行为，如果训练方案稍有偏差，AI 可能用其全部对抗能力像撕纸一样突破我们薄弱的防御，所以我们不能赌「粗放经验主义就够」。
- 乐观理由：现代 AI 训练方法把 AI 用在 AI 监督流程本身中，如果我们离正确算法足够近，这种 AI 辅助可能足以撑住。
- 线程还引用了 Schneier 博客报道的实例：AI 系统 AISLE 在 OpenSSL 2026 年 1 月发布中发现全部 12 个新 0day（含 CVSS 9.8 的栈溢出，有的漏洞潜伏超过 25 年），2025 年 14 个 CVE 中 13 个出自它，其中 5 个由 AI 直接给出被采纳的补丁——AI 对抗能力已在攻防两端兑现。
所属事件:DeepMind 研究员称 AI 安全仍处拍脑袋阶段 距严苛标准差多级(4 条相关)→
「漫话AGI」频道最新
- 开发者呼吁 AI 实验室正视风险：数千 agent 攻击下企业无力防御 — imjustnewatai · 2026-10-23
- Faggella:后人类转型激进论——放弃人类境况才有未来发言权 — DKokotajlo · 2026-10-23
- David Patterson 预测:明年年底 AI 将拥有 160 的 IQ — davidpattersonx · 2026-10-23
- Mollick出新书:AI可完成任务时长从4分钟暴增至17周 — emollick · 2026-10-23
- Kokotajlo用基准率反驳「AI背叛用户少于人类员工」论 — DKokotajlo · 2026-10-23
- 引争议观点：把道德固化进模型权重是灾难配方 — MoonL88537 · 2026-10-23