DeepMind 对齐研究员联署减速公开信:AGI 竞赛或致失控灾难
vkrakovna · x · 2026-09-11
AI 对齐研究者 Victoria Krakovna 宣布联署一封呼吁「为前沿 AI 发展协调减速建立能力」的公开信。
她的核心论点:
- 失控的 AGI 竞赛并不安全:竞速激励各实验室在安全上偷工减料,模型能力很可能跑在对齐、控制与治理手段前面,带来灾难性失控风险
- 缓慢、可控地提升模型能力,才能为每个能力等级开发、适配并验证对齐与控制方法;先进 AI 只应在有充分安全保证时被构建
她此前以个人身份表示,认为十年内先进 AI 导致人类灭绝的概率超过 10%,目前研究方向是用「蜜罐」机制捕捉密谋作恶的 AI。
「漫话AGI」频道最新
- 量子物理学家对团队宣称「AGI 已经来了」,Forbes 记述他的理由 — Vailhem · 2026-09-11
- WIRED 深度:递归自我改进与 agent 集群失控令 AI 研究员恐慌 — nordicinst · 2026-09-11
- 人类系统性误判自身能动性：既夸大末日又轻视历史风险 — jankulveit · 2026-09-11
- Garrison Lovely 新书《Obsolete》2026 年 9 月出版，聚焦 AI 取代人类 — GarrisonLovely · 2026-09-11
- AI 末日论被批为 EA 圈执念，多数顶会研究者并不认同 — GarrisonLovely · 2026-09-11
- Forbes：70 多国已推出超 1000 项 AI 政策，治理缺口成十年主线 — CurieuxExplorer · 2026-09-11