AI 安全研究者：实验室还在「草台 empirics」阶段，距离航空级安全差三级
geoffreyirving · x · 2026-10-23
Geoffrey Irving(前 DeepMind 安全研究员)发推讨论 AI 风险话题中的一个核心鸿沟：AI 实验室当前安全方法的「不严肃」程度,与航空、核电、AI 硬件等更严谨行业的做法之间的差距。
他把安全严格程度分为四级:
- 草台经验主义(Slapdash empirics)——AI 公司现在所处位置
- 系统安全(System safety)——航空与核电的做法
- 条件证明(Conditional proofs)——密码学式的安全证明,在合理假设下正确
- 无条件证明(Unconditional proofs)——无假设下也正确
配图指出「对齐需要哪一级」的答案落在 2-4 级之间的某处,但没人知道具体在哪。Irving 还透露在 Curve 会议上与某实验室安全负责人辩论时,对方的策略被描述为「守住阵地」——即不断修补 RL 环境等,撑到几年后可以暂停、或把 AI 研究交给 AI 自己。
所属事件:DeepMind 研究员称 AI 安全仍处拍脑袋阶段 距严苛标准差多级(4 条相关)→
「漫话AGI」频道最新
- 「前端只是耗材」：个人 AI 代理时代，服务都该 Headless 化 — genmon · 2026-10-23
- Runway CEO 长文：AI 创作的下一个战场是「控制权」 — c_valenzuelab · 2026-10-23
- Sam Altman 称 AI 可能具备意识,作者逐条剖析其说辞与回避之处 — Financial-Local-5543 · 2026-10-23
- 调试人脑才是终极 AI 挑战：bug 数量惊人 — irinarish · 2026-10-23
- 顶级安全专家 Halvar Flake：因来源是 AI 而拒收漏洞报告不合时宜 — mboehme_ · 2026-10-23
- distributed cognition 出 stealth：要复制人类集体智能、反对智能垄断 — alexmacgregor__ · 2026-10-23