逐条给 P(doom) 打分:RSI 必然发生,但毁灭概率未必高
SydSteyerhart · x · 2026-09-11
推主 @ArtemisConsort 发布了一份逐步的 P(doom)(毁灭概率)推算,逐条评估末日论证链:
- 实验室将日益参与 RSI(递归自我改进)——P ≈ 1,基本成立
- 这将大幅加速能力提升——P = 0.9,除非智能存在硬性原理极限
- 系统将变得不透明,阻止精细对齐——P = 0.5,能力提升同样可能帮助可解释性
- 超智能不透明系统将长期 exclusive 地追求自身目标——P = 0.1,可以通过时间/token 约束、在目标集中加入相互竞争的通用价值观等大量手段约束
整条链的逻辑是:即使前两条高度可能,后面的关键步骤都远非确定,因此高 P(doom) 并非理所当然。
所属事件:AI 圈激辩末日概率：呼吁公开 P(doom) 推导过程(3 条相关)→
「漫话AGI」频道最新
- AI 证明定理越来越多，数学家为什么反而抵触？ — PreferenceOk5132 · 2026-09-11
- Altman 与 Amodei 都支持给前沿模型降速,那就该真降 — NathanpmYoung · 2026-09-11
- Reddit 热议:真 AGI 出现后,另一家 AI 公司会先被「抹掉」? — Louay-AI · 2026-09-11
- DeepMind 高管反思：悬赏数学题奖金从一开始就是蠢主意 — docmilanfar · 2026-09-11
- Hodge 猜想正在被 Lean 形式化,数学大猜想迎来 AI 时代攻坚 — ResultBackground2450 · 2026-09-11
- LessWrong 长文：用第二人视角统一第一与第三人称的奈特不确定性理论 — LessWrong 精选 · 2026-09-11