Hinton、Bengio 等 22 位专家联名警告:AI 自动化研发或触发智能爆炸
rohanpaul_ai · x · 2026-10-07
Alan Chan 一作、Geoffrey Hinton 与 Yoshua Bengio 等 22 位专家联署的 arXiv 政策论文《What if automating AI R&D triggers an intelligence explosion?》评估了 AI 自动化 AI 研发本身可能带来的后果。
核心论点
- AI 已从 2023 年只能完成秒级任务,跃升到能完成人类专家需数天的任务;如今构建前沿模型的公司里,大部分代码已由 AI 编写。
- 作者判断 AI 系统有望在几年内自动化大部分 AI 研发工作,甚至可能全部自动化;若运行成本保持可比,单个前沿开发者现有的算力即可驱动相当于数百万人的 AI 劳动力。
- 这可能引发"智能爆炸":数年的进展被压缩到几个月内,带来收益提前兑现,但也伴随极端风险——能力增速远超社会适应速度、人类失去对超人类 AI 的控制、国家/公司/政府分支间的权力制衡被侵蚀。
政策建议:政府应紧急获取 AI 研发自动化程度的可见性(例如开始追踪有多少 AI 研究已由 AI 完成),研究如何引导和约束智能爆炸,并预先部署应对措施。作者承认不确定性很大,但高风险 warrant 严肃对待。
所属事件:Hinton、Bengio 等 22 位专家联名呼吁追踪 AI 自动化研发风险(3 条相关)→
「漫话AGI」频道最新
- Bindu Reddy 预言：12 个月内机器人突破，迎来拐点 — bindureddy · 2026-10-07
- 剑桥安全学者 David Krueger 呼吁立即无限期暂停前沿 AI 研发 — DavidSKrueger · 2026-10-07
- Reddit 热议：2024 年劝退编程之后，下一个「泰坦尼克」是谁 — JUST_A_HUMAN_CX123 · 2026-10-07
- Gary Marcus 回应质疑:前沿 LLM 能否裸解开放数学难题? — GaryMarcus · 2026-10-07
- Gary Marcus 吐槽循环：每次新模型惊喜几天后必跌神坛 — GaryMarcus · 2026-10-07
- Emily Bender：AI 生存威胁是「假风险」，末日论掩盖当下真实危害 — AlexTensor · 2026-10-07