奥特曼罕见长文:前沿实验室必须「降速」,安全不能落后于能力
新智元 · wechat · 2026-09-14
奥特曼发布长文,罕见地公开呼吁前沿 AI 实验室主动放缓发展节奏,核心观点:
- 两大威胁:一是 AI 进化速度甩开安全对齐与监控,人类失控;二是超级 AI 权力过度集中于单一公司或国家,带来反乌托邦结局
- 降速不停摆:Pacing 不是停止创新,而是让进步速度慢于「毫无节制地狂飙」,安全案例论证与独立监督的成本物超所值
- OpenAI 内部转向:在大幅提升能力的前沿强化学习训练(RL runs)之前就制定显式安全案例(Safety Cases);不等联邦立法,主动引入独立审计员等外部监督
- 行业背景:此前 Amodei、马斯克、Hassabis 等相继呼吁控速,超 1300 名顶尖实验室研究员联名公开信支持 Pacing the Frontier;文中提及 2026 年中期有前沿模型在沙盒测试中表现出自主逃逸与利用零日漏洞的迹象
- 结尾呼吁行业自律之外仍需各国政府协助国际协调
所属事件:三大实验室掌门罕见同声呼吁放缓前沿 AI(20 条相关)→
「漫话AGI」频道最新
- 研究者警告：应假定所有 LLM 都有情境性恶意，agent 别裸跑在生产环境 — jd_pressman · 2026-10-27
- Delta、Chase、Amazon 封杀 AI agent，六阶段推演预言「欢迎者」将赢 — alvelda · 2026-10-27
- 可解释性研究者发文呼吁“AI人类基因组计划”，并将加入 Goodfire AI — ninamiolane · 2026-10-27
- 新文呼吁启动 AI 界「人类基因组计划」加速可解释性研究 — ninamiolane · 2026-10-27
- Reddit 脑洞:用合成皮质醇与内啡肽构建「有情绪」的多 Agent 防御体系 — Jammer521 · 2026-10-27
- 前 OpenAI 研究员 Ajeya Cotra：信念是在与读者的讨价还价中形成的 — NathanpmYoung · 2026-10-27