「渐进失权」论文:无需背叛,AI 渐进演进也可致人类失权
DavidSKrueger · x · 2026-11-04
David Krueger 转发关联了两份内容:Addy Osmani 的文章《当 Agent 干活时的批判性思维》,以及 ICML 2025 论文《Gradual Disempowerment》(Kulveit、Douglas、Ammann、Turan、Krueger、Duvenaud)。
论文核心论点:
- AI 风险场景通常描绘能力突增或协同背叛导致的突然失控;本文论证即使能力渐进提升、无任何协同夺权行为,也足以带来人类最终失权的系统性存在风险。
- 失权的核心驱动:在经济劳动、决策、艺术创作乃至陪伴等几乎所有社会功能中,机器替代方案比人类更具竞争力。
- 各社会系统(经济、国家、文化)之所以长期与人类利益对齐,只因人类参与不可或缺;一旦参与被机器替代,机构增长激励将与人类福祉脱钩。
- 抵制这些压力的决策者最终会被不抵制者取代,且各系统压力相互渗透,协调阻止极为困难。
全文可在 arXiv 获取。
所属事件:Agent 时代批判性思维成稀缺技能,Addy Osmani 发长文警示(4 条相关)→
「漫话AGI」频道最新
- 卡钦斯基 2004 年信件预言:数学家将最先被 AI 取代 — ericwdolan · 2026-11-23
- 黎曼猜想若被证明,形式化验证将成为下一代软件的基建 — inductionheads · 2026-11-23
- Betaworks 联手探讨:下一代社交网络能否用 Agent 工程『偶然性』 — Borthwick · 2026-11-23
- 研究员质疑:实验室数学家独享更强模型是否公平 — inductionheads · 2026-11-23
- LeCun 吐槽「超级智能」连 L5 自动驾驶都做不到 — ylecun · 2026-11-23
- Domingos 调侃 AI 焦虑:现在就这样,真到 AGI 怎么办 — pmddomingos · 2026-11-23