长文反驳 AI 灭绝论:所谓「10% 灭绝风险」是为逃避产品责任
gerardsans · x · 2026-09-11
作者对 Anthropic 研究员辞职、安全负责人声援、「>10% 灭绝风险」言论刷屏一亿浏览的事件做系统性拆解,核心论点:这不是安全警钟,而是一场责任规避。
核心论点
- 「>10% 灭绝」不是测量结果,而是受雇研究该问题者在同事辞职同一天说出的个人估计——新闻价值有,证据价值没有。
- 法律早有现成类别:AI 是软件,由公司设计、训练、部署,出问题时被告就是公司。灭绝论把争论从产品责任转移到「只有厂商自己才能书写的叙事」上。
对「系统本质」的工程拆解
- 推理是本地的:一次查询、一个上下文窗口、从冻结权重采样。「群体智能(swarm)」只是同一模型跑多次推理,无状态延续、无持久记忆,进程一停一切消失。
- 未授权访问不是「失控智能体」,而是防线没做好:工具循环无检查点、上下文权限等于行动权限——这是糟糕的系统设计,不是对齐问题。
- 分布不是可用 RL 控制的智能体,是数学对象,没有自我、目标或心理。
指控与结论
- 实验室无法为自己商业化的系统做认证,于是把缺失的控制重新包装成「未对齐」,把缺失的问责包装成「生存风险」——先制造恐慌,再做市场与政策俘获,争取特殊监管 regime,唯独避开「软件制造商担责」这个已适用的法律类别。
- 把系统摆在软件工程师、安全工程师或网络安全专家面前,专家问的都是:状态存哪?评估层在哪?停进程会怎样?监控与升级协议呢?答案无聊透顶——过不了专家审计,指向的是疏忽。
「漫话AGI」频道最新
- NBER 经济学论文约 24% 含 AI 生成文本，2025 年起激增 — JeremyNguyenPhD · 2026-09-11
- WIRED 深度：递归自我改进浪潮令前沿实验室研究者恐慌，多人辞职发声 — connoraxiotes · 2026-09-11
- jjvincent 引陶哲轩观点:把探索空间让给 AI 等于让渡人的自主性 — jjvincent · 2026-09-11
- AI 消耗量分三波浪潮：2026 年 2 月 Agent 用量已超人类 — AccBalanced · 2026-09-11
- Ultraventures 创始人：AI 跳过钻研过程，「公共知识」或被侵蚀 — jjvincent · 2026-09-11
- 锐评:一次 spectacular 辞职示范了个体研究员并非无能为力 — birchlse · 2026-09-11