80,000 Hours 创始人估算:当前路径下 AI 灭绝风险高达约 2/3
ben_j_todd · x · 2026-10-01
80,000 Hours 创始人 Ben Todd 公布他对 AI 存在性风险的估算:
- 当前轨迹的内视角估算约 2/3;若有重大干预行动则约 1/3;综合更乐观者观点后为 10–35%。
- 核心论证:他看不到一条路径能造出「绝不密谋对抗人类」且能力超过人类的 agent,也无法保证失控后能控制住;就算对齐可解,以 10–100 倍速度运转的普通经济文化竞争仍可能让大多数人失去影响力,走向一个极其陌生的经济体。
- 他认为最可能的结局不是所有人瞬间死亡,而是人类影响力被持续而快速地侵蚀,AI 转向为资源获取或 reward 之类目标优化未来。
- 为什么不高于 2/3:人类可能以他预见不到的方式勉强过关;他预计会有更多「警告性事件」推动行动。
- 为什么不低于 10%:「历史上技术都是好的」这类先验很弱,极端不确定性应把估计拉离 0%,低于 10% 显得过度自信。
所属事件:80,000 Hours 创始人估算当前路径下 AI 灭绝风险高达约三分之二(2 条相关)→
「漫话AGI」频道最新
- Alpha School 被质疑用「劝退」筛选学生,Claude 当场被用来反问选择偏差 — benjaminjriley · 2026-11-16
- Netflix 拿下 Joseph Gordon-Levitt 执导的 AI 惊悚片,Rachel McAdams 加盟 — ShakeelHashim · 2026-11-16
- 卡内文学奖在 AI 代写质疑下确认 2026 年获奖者 — ShakeelHashim · 2026-11-16
- 模型对齐致害无人担责,研究者称法律责任真空是灾难 — LuizaJarovsky · 2026-11-16
- 一张图拆解如何判断文化作品的质量:编码意义与范例性动作 — round · 2026-11-16
- 经济学家热议:没有工作人类也挺好,工作只是交友与声誉的载体 — paulnovosad · 2026-11-16