Michael Nielsen 新文：ASI 存亡风险分歧源于确信度阈值差异
michael_nielsen · x · 2026-09-22
前 OpenAI 研究员 Michael Nielsen 发布新文章，探讨为何专家对 ASI（超级智能）存亡风险的判断严重分歧，并论证「将对齐作为首要目标可能是一个根本性错误」。
- 核心解释：专家分歧并非源于信息差异，而是源于「确信度阈值」和「对基于玩具模型与启发式论证的推理的接受程度」不同
- 文章认为 ASI 带来的风险面远比「失控的 ASI」更宽：ASI 会让世界暴露于大量新技术威胁之下，连对齐怀疑论者也应当感到担忧
- 引发安全圈广泛讨论，多人表示「本以为会不同意，结果高度认同」
所属事件:Michael Nielsen 长文：将对齐当首要目标可能是根本性错误(3 条相关)→
「漫话AGI」频道最新
- Toby Ord：部署前强制测试意义有限，内部模型才是最大风险源 — ben_j_todd · 2026-11-12
- 「AI 灭绝人类？大概率没事」：乐观派文章引热议 — NathanpmYoung · 2026-11-12
- 斯坦福研究：AI 五年内或减少放射科医生 33% 工时 — StanfordAILab · 2026-11-12
- 商业策略之争:把 AI 藏在人后面,而非把人藏在 AI 后面 — annetgriffin · 2026-11-12
- Yampolskiy 对阵 Israetel：租下教堂辩论 AI 末日概率 — rand_longevity · 2026-11-12
- Reddit 网友放话：OpenAI 撑不过三四年，将被收购出局 — Dadideology · 2026-11-12