Paul Christiano经典旧文重提:AI生存风险或高达三分之二
ben_j_todd · x · 2026-10-01
benjtodd 重推 Paul Christiano 的经典短文《What Failure Looks Like》,并附上自己此前对 AI 生存风险的估算:按当前轨迹的 inside view 约 2/3,若有重大行动约 1/3,综合更乐观者后为 10–35%。他解释如此之高的原因:看不到任何路径能造出能力超越人类却永不密谋对抗我们的 agent,也看不到它们开始密谋后如何遏制——即便可行,也需要极大的谨慎。
所属事件:80,000 Hours 创始人估算当前路径下 AI 灭绝风险高达约三分之二(2 条相关)→
「漫话AGI」频道最新
- Ben Thompson 撰文:黄仁勋的落幕标志 Nvidia 长期前景与 AI 泡沫终结 — morqon · 2026-11-16
- 博主称再有5-10GW算力与千万级AI科学家即可逼近“魔法” — Dr_Singularity · 2026-11-16
- Roger Martin长文:直觉正遭AI系统性围剿,战略制定者该如何应对 — RogerLMartin · 2026-11-16
- 美联储官员警告:银行已拦截 AI 智能体擅动客户账户 — Polymarket · 2026-11-16
- Reddit 说「AI 是泡沫」,Twitter 在讨论「活不过 2027」:同个行业两种氛围 — Puzzleheaded-King584 · 2026-11-16
- Alpha School 被质疑用「劝退」筛选学生,Claude 当场被用来反问选择偏差 — benjaminjriley · 2026-11-16