安全研究员:AI 实验室的安全仍是「拍脑袋经验」,缺系统工程

geoffreyirving · x · 2026-10-23

Geoffrey Irving(DeepMind 安全团队成员)批评当前 AI 实验室的安全实践停留在临时性经验修补,并引述他在 The Curve 论坛与某实验室安全负责人的辩论:对方把策略形容为「守住阵地」——靠不断给 RL 环境打补丁撑到几年后暂停,或把 AI 研究交给 AI。

他主张的下一阶段是 system safety(系统安全工程):借鉴数十年积累的工程学科,在部署前系统排查隐患、对照隐患质询设计、事故后严格复盘。配图为 Nancy Leveson 的《Engineering a Safer World》。