Anthropic researcher quit before vesting to warn of superintelligence race: "a small Manhattan Project"
量子位 · wechat · 2026-09-11
Anthropic 预训练研究员 Jacob Coxon 在入职仅 4 个月、距首批股权归属还差 2 个月时辞职，发布七段声明称 OpenAI 和 Anthropic 都在冲向自我进化的超级智能，拿所有人性命做赌注。该帖 24 小时内浏览超 7600 万，现已超 1.6 亿次。
内部回应
- 对齐科学负责人 Evan Hubinger 认可其描述，自称更激进：十年内 AI 导致人类灭绝概率超 10%，并承认尚无解决超级智能对齐的具体方案
- 可扩展监督负责人 Samuel Marks：职位越高对风险越担忧
- 黄仁勋公开反对，称其为「彻底的胡说」
- Coxon 仍称 Anthropic 是「远远最负责的参与者」，与 OpenAI 安全态度「天壤之别」
核心论点：竞赛困境
- Anthropic 内部已现「战时状态」，员工用 endgame、crunchtime 讨论阶段，Coxon 比作「小型曼哈顿计划」
- 逻辑悖论：为安全要更快研发，更快又压缩了理解模型内部机制与检查危险行为的时间
- 在竞赛中「Anthropic 甚至无法完全信任自己」——任何一方减速都会失去主动权，最终整体继续提速
现实出路
- 第一步：OpenAI 与 Anthropic 达成协议，承诺近期不进入递归自我改进
- 长期：建立类似 CERN 的国际机构，监督全球芯片、数据中心与大规模训练集群——「像掌握核材料一样掌握算力分布」
More from AGI Musings
- Goldman finds statistically significant negative link between AI adoption and US employment growth — ben_j_todd · 2026-10-27
- a16z: World-changing tech makes a chaotic entrance — AI agents are following the same path — a16z · 2026-10-27
- NEJM AI on medical education: mastery requires performing without the machine — BraydonDymm · 2026-10-27
- Dev warns abliterated models could wreck software supply chains with 1000+ transitive dependencies — nitarshan · 2026-10-27
- Delete your priors: why every SOTA model drop should reset how you think the world works — zack_overflow · 2026-10-27
- Replit predicts every Fortune 500 will be a 'Self-Driving Company' by end of 2030 — amasad · 2026-10-27