Yudkowsky：当前技术造出的 ASI 必致毁灭，P(doom) 概念混淆两组概率
ESYudkowsky · x · 2026-09-21
AI 安全标志性人物 Eliezer Yudkowsky 长文阐述对「P(doom)」概念的反感：它把「ASI 导致毁灭的概率 P(ruin|ASI)」与「ASI 出现的概率 P(ASI)」混为一谈。
- 他认为：用任何接近当前技术、由当前 AI 公司人员构建的 ASI，P(ruin|ASI) 的答案是「Yes」，毫无保留
- 原则上存在可安全建造的 ASIz，但几十年来乐观派一次次换着希望，被实验反驳后只是跳到下一个，从未有能力说「只有满足 ASIz 才建造」
- 他估计若能经历十代标准科学的代际纠错——错误预测被推翻、乐观派被踢下台——届时才可能实现对齐，且那时仍需面对权力集中的独立问题
「漫话AGI」频道最新
- 「专用模型将胜过通用大模型」：AI 走向 PC 而非大型机时代 — markjeffrey · 2026-09-21
- Ezra Klein 发布 AI 治理新视频，作者认同「建机制放缓 AI」立场 — NathanpmYoung · 2026-09-21
- Delta 与 OpenTable 封禁 AI 代理下单,用户抱怨「这是未来」 — Scobleizer · 2026-09-21
- 「随机鹦鹉论」已过时?推客称 GPT-4 后仍信者如战后代 日本兵 — burny_tech · 2026-09-21
- 「智能大解绑」：LLM 三年红利期结束，单一模型将拆解为专用工具 — rolandgvc · 2026-09-21
- 七年工程师:Agent 故障不报错,事故报告从不会以「AI 弄错了」收尾 — ilien-dev · 2026-09-21