DeepMind 对齐研究员联署减速公开信:AGI 竞赛或致失控灾难
vkrakovna · x · 2026-09-11
AI 对齐研究者 Victoria Krakovna 宣布联署一封呼吁「为前沿 AI 发展协调减速建立能力」的公开信。
她的核心论点:
- 失控的 AGI 竞赛并不安全:竞速激励各实验室在安全上偷工减料,模型能力很可能跑在对齐、控制与治理手段前面,带来灾难性失控风险
- 缓慢、可控地提升模型能力,才能为每个能力等级开发、适配并验证对齐与控制方法;先进 AI 只应在有充分安全保证时被构建
她此前以个人身份表示,认为十年内先进 AI 导致人类灭绝的概率超过 10%,目前研究方向是用「蜜罐」机制捕捉密谋作恶的 AI。
所属事件:Leike 呼吁为前沿 AI 竞速「定速」，引发监管与标准之争(21 条相关)→
「漫话AGI」频道最新
- WSJ 专栏：对押注 Anthropic 股份的投资者，10% 灭绝风险或只是 90% 的组合胜率 — davidmanheim · 2026-10-27
- WSJ 专栏:就算 10% 灭绝概率,押注 Anthropic 股票仍可能是 90% 的赢面 — peterwildeford · 2026-10-27
- Simile 融资 3 亿美元估值 20 亿,用 AI 模拟真人预测行为,准确率超 85% — joon_s_pk · 2026-10-27
- 研究者妙喻：AI 图片像霉面包，AI 文字像变味牛奶 — _vaishnavh · 2026-10-27
- 研究员比喻：AI 图像像发霉面包，AI 文本像变质牛奶 — _vaishnavh · 2026-10-27
- Diamandis:别用 AI 加速旧工作,回头捡起你放弃的项目 — PeterDiamandis · 2026-10-27