Yudkowsky：当前技术造出的 ASI 必致毁灭，P(doom) 概念混淆两组概率
ESYudkowsky · x · 2026-09-21
AI 安全标志性人物 Eliezer Yudkowsky 长文阐述对「P(doom)」概念的反感：它把「ASI 导致毁灭的概率 P(ruin|ASI)」与「ASI 出现的概率 P(ASI)」混为一谈。
- 他认为：用任何接近当前技术、由当前 AI 公司人员构建的 ASI，P(ruin|ASI) 的答案是「Yes」，毫无保留
- 原则上存在可安全建造的 ASIz，但几十年来乐观派一次次换着希望，被实验反驳后只是跳到下一个，从未有能力说「只有满足 ASIz 才建造」
- 他估计若能经历十代标准科学的代际纠错——错误预测被推翻、乐观派被踢下台——届时才可能实现对齐，且那时仍需面对权力集中的独立问题
所属事件:Yudkowsky 批评 P(doom) 概念混淆两类概率(2 条相关)→
「漫话AGI」频道最新
- Nina Schick：最大风险不是超级智能，而是我们没能建设 — NinaDSchick · 2026-11-12
- keerthanpg:机器人学家仍不接受苦涩教训,CoRL 现场五阶段哀伤 — keerthanpg · 2026-11-12
- AI 2027 作者回应质疑：预测已注明以无减速为前提条件 — eli_lifland · 2026-11-12
- 数学家为何恐慌:AI 正让「声誉点数」通胀贬值 — virtuolie · 2026-11-12
- 投资人直言：消费软件的 AI 扩散将是最慢的 — MartinGTobias · 2026-11-12
- AI 争论:模型在关键短板上进步慢,是因为你根本注意不到它在进步 — dfrsrchtwts · 2026-11-12