80,000 Hours 创始人估算：当前路径下 AI 灭绝风险高达约 2/3
ben_j_todd · x · 2026-10-01
80,000 Hours 创始人 Ben Todd 公布他对 AI 存在性风险的估算：
- 当前轨迹的内视角估算约 2/3；若有重大干预行动则约 1/3；综合更乐观者观点后为 10–35%。
- 核心论证：他看不到一条路径能造出「绝不密谋对抗人类」且能力超过人类的 agent，也无法保证失控后能控制住；就算对齐可解，以 10–100 倍速度运转的普通经济文化竞争仍可能让大多数人失去影响力，走向一个极其陌生的经济体。
- 他认为最可能的结局不是所有人瞬间死亡，而是人类影响力被持续而快速地侵蚀，AI 转向为资源获取或 reward 之类目标优化未来。
- 为什么不高于 2/3：人类可能以他预见不到的方式勉强过关；他预计会有更多「警告性事件」推动行动。
- 为什么不低于 10%：「历史上技术都是好的」这类先验很弱，极端不确定性应把估计拉离 0%，低于 10% 显得过度自信。
所属事件:80,000 Hours 创始人估算当前路径下 AI 灭绝风险高达约三分之二(2 条相关)→
「漫话AGI」频道最新
- 三十年老画家:AI 恐慌是 Photoshop、3D 转型焦虑的重演 — dreamwieber · 2026-10-01
- WSJ:黄仁勋等高管白宫私下质疑 Amodei 谈 AI 风险「太极端」 — robleclerc · 2026-10-01
- 经济学家:AI 改过的代码会失控,我的解法是设'AI 专属文件夹' — paulnovosad · 2026-10-01
- 投资人解读白宫超级智能协议：第三方审计写入董事会比新监管机构更有效 — GavinSBaker · 2026-10-01
- Erik Hoel 谈如何告诉孩子 AI:教育应重演文明进程 — erikphoel · 2026-10-01
- Ben Recht:效用最大化无处不在,该学的是它何时被误用 — beenwrekt · 2026-10-01