逐条给 P(doom) 打分:RSI 必然发生,但毁灭概率未必高
SydSteyerhart · x · 2026-09-11
推主 @ArtemisConsort 发布了一份逐步的 P(doom)(毁灭概率)推算,逐条评估末日论证链:
- 实验室将日益参与 RSI(递归自我改进)——P ≈ 1,基本成立
- 这将大幅加速能力提升——P = 0.9,除非智能存在硬性原理极限
- 系统将变得不透明,阻止精细对齐——P = 0.5,能力提升同样可能帮助可解释性
- 超智能不透明系统将长期 exclusive 地追求自身目标——P = 0.1,可以通过时间/token 约束、在目标集中加入相互竞争的通用价值观等大量手段约束
整条链的逻辑是:即使前两条高度可能,后面的关键步骤都远非确定,因此高 P(doom) 并非理所当然。
所属事件:AI 圈激辩末日概率：呼吁公开 P(doom) 推导过程(3 条相关)→
「漫话AGI」频道最新
- 实验猴荒：中国 3-5 万美元一只，繁育周期 4 年成药物临床前瓶颈 — zebird0 · 2026-10-27
- CJR 批评记者滥用「rogue」：别把 AI 写得像有了人性 — ShakeelHashim · 2026-10-27
- AI 致 PhD 申请邮件暴涨约 4 倍，不用 AI 写信反而更易突围 — AI4Code · 2026-10-27
- Weil 律所崩塌复盘：击垮 BigLaw 的不是商业模式，是信心 — jkubicki · 2026-10-27
- Transformer 论文八位作者全部离职，Google 白送竞争对手万亿价值 — signulll · 2026-10-27
- Anthropic S-1 写明两大 AI 愿景：治愈疾病与覆盖 46 亿缺医人口 — petergyang · 2026-10-27