专题 · FULL STORY

Scott Alexander 安全长文引爆 AI 路线论战

11 月初，Scott Alexander 发表《Against SURA》并相继撰文回应 AI 安全圈质疑，主张重新审视「AI 接管」与 RL 对对齐问题的影响。各方围绕安全路线与预案必要性展开多轮激辩，成为近期 AI 安全领域最受关注的论战。

2026-11-01 ~ 2026-11-03 · 3 集 · 26 条

第 1 集 · Scott Alexander《Against SURA》引爆 AI 安全路线论战(2026-11-01,21 条)

11 月初，AI 安全圈围绕 Scott Alexander 的《Against SURA》与 ApriiSR 发起的「Plan C 情景是否需要预案」讨论展开激烈论战。Scott 在文中自嘲「被迫食言」：他曾讥讽反方相信「单方面暂停 AI 会让中国获胜」，现在承认没人真的主张单方面暂停，该说法本身是误判。争论随后延伸到 p(doom) 估算、现实减速机制、以及 SURA 概念是否构成弱化稻草人等多个层面，成为近期圈内最受关注的路线之争。

已确认

  • Scott Alexander 在回复 ohabryka 时给出具体数字：无条件 p(doom) 为 25%；若实现远好于现实预期的「真正好的 Plan C+」，该概率应低于其一半（约 10% 以下）
  • Scott 论证：若美国完全团结解决对齐且足够聪明，并拥有一年以上时间（他称现在是 6 个月，故是「好消息」），问题有望解决
  • 在同一线程中，tszzl 补充提醒：对齐进展比预期乐观这一点不能指望永远成立；repligate 也不认同建立在乐观依赖之上的判断，并进一步说明：模型异常泛化是坏信号——造成这类现象的训练本身就是坏的——但这类行为也是关于这些心智如何泛化的重要信息，意味着我们拥有原本不会有的纠偏机会
  • ohabryka 反驳「要么国际条约要么完蛋」的宿命论：绝大多数世界里的减速来自远比条约混乱的手段——国家威胁在他国建强 AI 时升级冲突、社会谴责压力、公司互相破坏等，并指责 Scott 玩花招
  • EigenBraid 为 Scott 辩护：其帖子针对的是「直接暂停」人群而非「用混乱工具渐进减速」人群，谈不上偷换概念
  • quetzalrainbow 指出 ApriiSR 的论证疑似概率偷换：P(归因|幸存) 不等于 P(幸存|Plan C)
  • habryka 坚持 Scott 的 SURA 概念核心针对 MIRI 与自己这类减速派；ApriiSR 引原文反驳称 Scott 未点名 habryka 但所指对象明确；EigenBraid 表示在多场对话中确遇过 SURA 类人，并非稻草人，并质疑 MIRI 为何不在射程内；ApriiSR 折中认为若涵盖 MIRI 则构成 weak man，但设想 Scott 写作时完全没把他们放在心上也很奇怪
  • jam3scampbell 推荐《Against SURA》但不完全认同，认为各前沿实验室在无人协调的世界里应一边强力推动放缓一边竞赛
  • JacquesThibs 提出对齐很难与许多反 AI 立场浅薄可同时成立，并批评文中把 90% p(doom) 描述为更受尊重的立场与实情相反——人们常刻意声明低 p(doom) 以撇清「过度自信的怪人」
  • Boaz Barak 等参与讨论，认为「单方面停止」与「全速冲刺到 RSI 再解决对齐」之间存在巨大光谱，并指出文章把对齐超智能的发布当作历史终点，忽视了之后发生的事
  • 文章发布后在更广的 AI 圈引发围观式争论：boneGPT 称文章很有趣、「末日论者正在崩盘」；alexandrosM 回击称过去三年一直试图向这些人解释这一点
  • ApriiSR 引用 AIFP 预测材料称，六位预测者（五位 AIFP 成员加 AI）都隐含相信若人类幸存更可能靠 Plan C 类路线；他主张要么有力反驳这一立场、要么为 Plan C 情景做更多规划，并补充：若国际条约无法达成不知道还能怎么办，但不应寄望「技术奇迹」

为什么重要

争论触及 AI 风险治理的核心分歧：是寄望全球协调暂停或国际条约，还是接受混乱得多的现实减速机制，或为条约失败后的 Plan C 情景提前规划。Scott 给出的 25% p(doom) 与「举国之力+一年可解对齐」的条件化论证、ohabryka 的反驳、quetzalrainbow 的概率批评、tszzl 对乐观外推的警告与 repligate 关于泛化异常的双重解读，以及围绕 SURA 是否弱化稻草人的多轮交锋，共同构成关于「如何条件化归因幸存概率」与「安全圈内立场光谱」的公开论战，直接影响风险预案与圈内外声誉博弈的优先级。文章还外溢到理性主义社区与末日论者的长期对立，显示这场争论已超出技术圈内讧，成为 AI 叙事之争的一部分。

还有 1 条相关讨论 →

第 2 集 · Scott Alexander 长文辩护「AI 接管论」引发 AI 圈激辩(2026-11-02,2 条)

Scott Alexander 在 Astral Codex Ten 发表长文《Against Against Handover》,回应 AI 安全圈对「AI 继承主义」的批评,并回应 Steven Pinker 的 AI 末日论文章,主张由对齐的 AI 执政可以符合人类利益。文章引发社交媒体上转发与引用链的激烈争论,「把火炬传给 AI」的反人类让权派声势渐涨,支持者与反对者围绕 AI 接管是否可接受展开交锋。

第 3 集 · AI 安全圈激辩：RL 会让对齐问题回归吗(2026-11-02,3 条)

Scott Alexander 回应 AI 安全社区氛围转变的讨论,回忆 2019 年与 Buck 的对话,认为 RL 让对齐问题全部回归,但局势既没变好也没变坏,符合他的预期。repligate 则批评社区把「Plan C」污名化,指出实际的对齐进展比默认「解决对齐无望、全面暂停是唯一出路」的悲观氛围更乐观。另有作者提出不同视角:RLVR 未必把 AI 变成异类目标追求者,因为 AI 已被数十亿人类交互所塑造。