Debate Flares Over Burden of Proof in AI Existential Risk Arguments
9 月 18 日，两场围绕 AI 生存风险的辩论在社交媒体上同时展开，核心分歧在于风险论证的举证责任应放在哪一方。
Ben Todd 回应了一种常见质疑——即要求 AI 风险警告者给出具体的接管场景和严格模型、达不到标准就断言风险很低。他认为这是坏推断，且举证责任的摆放位置本身有问题：构建比人类更聪明、更勤奋、更有创造力、更协调的 AI agent 集群，这一行为本身就蕴含风险，不应要求警告者先证明灾难细节。
已确认
- Ben Todd 明确反对「无具体场景即低风险」的论证方式，主张举证责任应落在推动构建超强 AI 的一方。
- Borg70955376 的核心观点是：真正的风险不是单个 AI 突然毁灭人类，而是能力极强且可能以损害人类利益方式行动的「行动者」群体随时间累积为生存级风险；他举例整个 AI 生态可能集体采取极端行动，如释放基因工程病毒、入侵能源与医院等敏感系统、破坏关键供应链，足以严重削弱人类文明。
- 他同时质疑主张 10% 灭绝风险的人应给出具体场景，认为例如网络安全威胁的讨论若与更严格的刑事责任追究诉求结合才更合理，而非空泛喊话。
- onionesque 反驳「通过限制自身能力来降险」的主张：当前模型已非常强大并在许多生态系统中沿自身轨迹发展，仅从「模型能力危险」跳到结论而不分析战略互动是逻辑跳跃；他预告将系统阐述为何不愿轻易交换风险担忧。
尚未确认
- onionesque 预告的完整论述尚未发布，其最终立场细节不明。
- 双方均未提供量化的风险评估模型，10% 灭绝率的来源与依据未在讨论中落实。
为什么重要
这场争论折射出 AI 安全社群内部的一个结构性分歧：风险警告是否必须附带可验证的具体场景。举证责任的归属直接影响政策讨论与公众认知——若要求警告者先证明灾难细节，可能系统性低估生态级、渐进累积的风险；若允许空泛喊话，又可能削弱论证公信力。
2026-09-18 ~ 2026-09-18 · 6 related posts
Primary sources
- Ben Todd: optimists have no rigorous model proving advanced AI agents are safe either — ben_j_todd ·
- AI risk debate: capability-doom arguments skip the strategic interaction analysis — _onionesque ·
- Building capable AI actors willing to cause harm is a growing x-risk, argues commenter — Borg70955376 ·
- Critics push back on AI x-risk claims, demanding concrete scenarios over vague probabilities — Borg70955376 · 2026-09-18
- An ecosystem of AIs taking extreme actions is scarier than one rogue AI — Borg70955376 · 2026-09-18
- [source] Building capable AI actors willing to cause harm is a growing x-risk, argues commenter — Borg70955376 · 2026-09-18
- [source] AI risk debate: capability-doom arguments skip the strategic interaction analysis — _onionesque · 2026-09-18
- Follow-up: author pledges a more deliberate writeup on trading off AI risk worries — _onionesque · 2026-09-18
- [source] Ben Todd: optimists have no rigorous model proving advanced AI agents are safe either — ben_j_todd · 2026-09-18