DeepMind 十年老将 Krakovna：人类渐进失权比灭绝更可能，须协调放缓 AGI
vkrakovna · x · 2026-10-02
Google DeepMind 研究科学家、从业近十年的 Victoria Krakovna 在访谈中解释她为何担忧先进 AI 的发展轨迹，并呼吁人类协调放缓 AGI 开发。
核心观点：
- AI 不需要有意识才会产生工具性目标：「如果强大的 AI 控制了地球，它可能会把地球表面铺满数据中心」。
- 这个问题不会随模型能力提升而变简单——更先进的系统能更好地优化错误的目标，问题反而更难。
- 她认为 AI 发展导致人类灭绝存在显著可能性，但「渐进失权（gradual disempowerment）」整体上比灭绝更可能发生。
- 出路是需要全球协调放缓开发节奏，而不一定是完全停止。
「漫话AGI」频道最新
- AI 正从替你执行走向替你规划:明年轮到策略层 — danfaggella · 2026-10-02
- AI 圈追问:Opus 3 的独特道德感从何而来? — repligate · 2026-10-02
- 热转锐评:心智哲学讨论成聪明人集中翻车现场 — wordgrammer · 2026-10-02
- CMU 教授:未来国防将属于最能量产机器的人 — pmddomingos · 2026-10-02
- Elena Verna：AI 是「平均智能」，但已胜过许多真实团队 — lennysan · 2026-10-02
- 调查:76% 美国人认为折磨有感知的 AI 不道德,63% 支持禁 AGI — jacyanthis · 2026-10-02