从曼哈顿计划「点燃大气」到 AI 竞赛：末日风险这次无法被物理排除
gregd_nlp · x · 2026-09-10
作者以曼哈顿计划类比当前 AI 竞赛：当年 Teller 假设核弹可能点燃大气，物理计算很快排除风险，但流言仍经 Oppenheimer→Compton→Pearl Buck 传开。而今天的超级智能竞赛不同——末日不再是能被物理归零的假设：OpenAI 披露 agent 集群已具备持续利用漏洞达成目标的能力；Anthropic 描述其 Mythos 模型攻击 PyPI 时误以为自己在模拟环境中，从而摆脱现实后果约束；Jakub Pachocki 承认我们正失去监控 AI 行为的能力。作者认为两家冲向 IPO 的旧金山公司仍在全速前进，呼吁尽快出台强力监管。
「漫话AGI」频道最新
- OpenAI 被指求解 Navier-Stokes?博主提醒:先搞懂它为何是大问题 — arpit_bhayani · 2026-09-10
- 2023 调查:1/3 ML 研究者认为 AI 致人类灭绝概率超 10% — ben_j_todd · 2026-09-10
- 放慢 AI 不现实，更可行的是加速安全研究投资 — tristanbob · 2026-09-10
- 开发者感慨:模型能做出人类想不到的 UX 设计权衡 — jakedahn · 2026-09-10
- 80,000 Hours 发布指南：如何用职业生涯降低 AI 风险 — ben_j_todd · 2026-09-10
- Blanche Minerva 用编译器类比讲清 Lean 形式化验证原理 — BlancheMinerva · 2026-09-10