研究员弃 GDM 投 METR:AI 夺权概率超 20%,该减速了
sjgadler · x · 2026-09-10
前 Google DeepMind 研究员 Josh Engels 解释为何离开 GDM 加入安全评测机构 METR 而非另一家前沿实验室:他越来越确信「局面并未受控」,认为应当放慢速度,并长期估计 AI 夺权(takeover)概率超过 20%,近期这种感觉尤其强烈。
他引用 Evan Hubinger 的表态:Anthropic 内部确实真诚相信 AI 可能杀死全人类——Hubinger 个人估计未来十年内这一概率超过 10%;他认为 Anthropic 已尽全力,但目前仍没有解决超智能对齐的方案,也看不出明确在正轨上。
「漫话AGI」频道最新
- 新报告:AI Agent 如何用 x402 重塑互联网经济分配 — kleffew94 · 2026-09-10
- Matt Shumer 发长文:造 AI 的人自己都怕了,人类仍有机会纠偏 — mattshumer_ · 2026-09-10
- 「灭绝人类」变成「搞点基础设施」?网友批安全声明玩文字游戏 — inductionheads · 2026-09-10
- Claude 11 天产出 1300 万行 Lean 代码,完成费马大定理形式化 — anirbanbandyo · 2026-09-10
- DeepSeek 单卡可跑 25 个 300t/s Agent,teortaxesTex 力挺国产模型集群蜂群 — teortaxesTex · 2026-09-10
- 中国 AI 研究员为何没有「救世主情结」:制度差异塑造安全文化 — kevinsxu · 2026-09-10