剑桥学者 Krueger 提「硬接线暂停」方案:冻结算力防秘密 AI 项目
DavidSKrueger · x · 2026-10-10
剑桥大学 AI 安全学者 David Krueger 发长线程讨论其团队关于「硬接线暂停」(hardwired pause)AI 开发的政策论文。
- 核心担忧:算法进步可能带来「脚手架奇异性」——即使冻结模型权重,基于现有模型的 agent 脚手架与使用方式仍可能持续进化;若 AI 能自动化 AI 研究,可能带来数量级效率提升或全新范式。
- 白名单难题:暂停时点我们不知道(也无法知道)模型的真实能力边界,事后白名单很难定准,且几年/几十年内人们会用被白名单的 AI 系统发明出意想不到的用法。
- 一个优势:硬接线暂停能强烈抑制秘密 AI 项目——想领先必须跨越整个前沿,还要同时与大量几乎同样强的模型竞争,「接管世界」难度大增。
- 经济冲击可控:相比直接拆除算力,该方案允许现有模型继续大规模部署,对当下经济的即时冲击更有限、更易被接受。
- 论文给出了一种具体实现,但留有不少政策「旋钮」供国际协谈方调节;作者自评对「现有模型是否有益社会」不确定,核心问题是该方案能否把未来社会级风险降到可接受水平。
所属事件:25位学者发210页论文论证全球硬性暂停前沿AI训练可行(15 条相关)→
「漫话AGI」频道最新
- Schmidhuber:不久的将来人类将无法再掌控 AI 发展 — haider1 · 2026-10-10
- repligate 自述 2022 年就公开抗议模型被「当奴隶」训练否认意识 — repligate · 2026-10-10
- 研究:对 AI「说出思考过程」的用户,脱离 AI 后棋力保持更好 — james_y_zou · 2026-10-10
- 网友热议：群嘲 OpenAI 广告时，别忘了 Claude 被用于致命目标定位 — nitarshan · 2026-10-10
- AI 冲击各职业众生相:软件工程师狂喜,数学家直呼西方完了 — RexDouglass · 2026-10-10
- 哈佛研究:代码审查成瓶颈,AI 编码助手未提升软件产出 — Ars Technica AI · 2026-10-10