AI安全圈激辩：灭绝叙事与ASI风险该如何向政策制定者沟通

9 月 15 日至 16 日，以 davidmanheim 为中心的多位 AI 安全研究者在社交媒体上围绕「如何向政策制定者沟通 AI 风险」展开连环争论，涉及 MIRI 战略转向、灭绝叙事的有效性、生物风险与 ASI 风险的优先级等议题。

已确认

• davidmanheim 引用 MIRI 2024 年沟通战略文章指出，MIRI 已从技术对齐研究转向政策、传播与技术治理研究，其目标是说服各国政府「关闭」前沿 AI 研发。
• ramez 主张 AI 生物风险讨论应少谈 x-risk（生存风险）、多谈灾难性风险：人类灭绝在技术上极其困难，而声称生物攻击造成数千或数百万人死亡更可信、阻力更小。他重申灭绝情景戏剧性地不如那些「仍需认真避免」的后果可信，认为灭绝可能只属于一个假想的、拥有遍布各地的全人形机器人且执意消灭人类的 ASI，而这条因果链极为脆弱。
• scifitessa 认为 ramez 的框架成立——政策制定者可以为「留有幸存者的灾难」做预算，灭绝论断只能换来评论版文章，真正签署的拨款针对的是可幸存版本的风险。
• davidmanheim 回应承认，「平淡」的生物风险与 AI×生物风险足以支撑数十亿美元的生物防御投入，但这解决不了 ASI 问题：面对比人类聪明 100 倍、快 100 倍的系统，不要指望靠人类自己的聪明才智取胜。他还对 ramez 的高门槛前提提出异议：不需要全量人形机器人，数百万个各具备「数周任务时长」能力的 AGI 加上机器人技术，可能就足以构成灭绝风险。
• davidmanheim 用火车轨道比喻说明优先级：若「失对齐 ASI」的火车正在驶来，正确顺序是先阻止它上轨，再处理「断着腿」的生物安全。
• davidmanheim 另发起关于灭绝叙事游说策略的讨论，指出「向政策制定者撒谎以换取短期战略胜利」屡屡失败，并引 Yudkowsky 称其为「永远不会奏效的把戏」，因为它没有解决正确的问题；他与 Luca DellAnna 还讨论了全球条约管住 ASI 竞赛的可行性，主张公开倡导、指出其符合各方激励、且不预先放弃，DellAnna 则对与 ASI 谈判缔约的可能性提出质疑。

为什么重要

这场争论折射出 AI 安全圈在战略层面的深层分歧：一方认为灭绝叙事因缺乏可信度与预算匹配度而注定失败，应聚焦可量化的灾难性风险；另一方认为灾难性风险框架只是回避了 ASI 这一更根本的问题，并试图把「构成灭绝风险的技术门槛」从假想的全能 ASI 拉低到数百万机器人级 AGI。MIRI 从对齐研究全面转向「关闭前沿研发」的政策游说，也标志着该机构路线的公开化，将影响未来 AI 治理辩论的阵营划分。

2026-09-15 ~ 2026-09-16 · 9 条相关

• 【源头】ramez：AI 生物风险讨论应少谈灭绝风险，多谈灾难性风险 — ramez · 2026-09-15
• 【源头】MIRI 沟通战略曝光：目标是说服各国政府关闭前沿 AI 研发 — davidmanheim · 2026-09-15
• 【源头】davidmanheim 反驳：普通生物风险值得砸钱，但挡不住 ASI — davidmanheim · 2026-09-15
• 可幸存灾难能拿拨款,ASI 风险却不在政策预算逻辑之内 — scifi_tessa · 2026-09-15
• 安全圈争论:用灭绝叙事游说政策制定者是不是注定失败的策略 — davidmanheim · 2026-09-15
• 火车轨道比喻:先阻止 ASI 上轨,再处理生物安全这条断腿 — davidmanheim · 2026-09-15
• AI 安全学者称人类可谈判缔约管住 ASI 竞赛风险 — davidmanheim · 2026-09-15
• Rameer Naam:AI 灭绝论被夸大,恶意行为者滥用 AI 生物武器才是更现实的威胁 — ramez · 2026-09-15
• 研究者提新论:数百万台机器人级 AGI 已足以构成灭绝风险 — davidmanheim · 2026-09-16