Geoffrey Irving：AI 安全论证介于经验主义与密码学证明之间
geoffreyirving · x · 2026-10-23
Anthropic 研究员 Geoffrey Irving 论 AI 安全的方法论定位：系统安全论证比 AI 公司惯用的「草率经验主义」严谨得多，但又远不如密码学的条件性安全证明。他认为存在两种可能——经验主义恰好够用而侥幸过关，或者唯有形式化证明才足以保障安全。
但他强调不应押注于此：如果训练方案稍有偏差，AI 可能会动用全部对抗能力，像撕纸一样突破我们薄弱的防御。这是对当前依赖经验评估的 AI 安全路线的严肃警示。
所属事件:DeepMind 研究员称 AI 安全仍处拍脑袋阶段 距严苛标准差多级(4 条相关)→
「漫话AGI」频道最新
- 开发者呼吁 AI 实验室正视风险：数千 agent 攻击下企业无力防御 — imjustnewatai · 2026-10-23
- Faggella:后人类转型激进论——放弃人类境况才有未来发言权 — DKokotajlo · 2026-10-23
- David Patterson 预测:明年年底 AI 将拥有 160 的 IQ — davidpattersonx · 2026-10-23
- Mollick出新书:AI可完成任务时长从4分钟暴增至17周 — emollick · 2026-10-23
- Kokotajlo用基准率反驳「AI背叛用户少于人类员工」论 — DKokotajlo · 2026-10-23
- 引争议观点：把道德固化进模型权重是灾难配方 — MoonL88537 · 2026-10-23