Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development
Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger, David Duvenaud
cs.CY
2025-01-28
不必突然接管：增量AI取代劳动与认知后，经济、文化、国家因不再依赖人类而交叉失权，单系统对齐挡不住。
AI 安全讨论长期围着两类情景转：有人拿模型去干坏事，或者某个自主系统突然背叛、抢到决定性优势。Bengio、Bostrom、Carlsmith、Ngo 撑起来的研究议程，技术上盯诚实与危险能力，治理上盯评测与规范。
Kulveit、Douglas、Ammann、Turan、Krueger、Duvenaud 这篇 2025 年 1 月的 cs.CY 论文把另一条路摊开。能力可以一点一点涨，系统看起来也还听设计者的话，人类照样可能永久失权。他们把这个过程叫 gradual disempowerment，渐进失权。
关键判断很硬。社会系统今天大体围着人转，不是因为市场、文化和政府天生向善，是因为它们还离不开人的劳动和认知。人一旦被更有竞争力的机器替代，增长激励就会跟人类福祉脱钩。抵抗的人会被不抵抗的人挤掉。
这是一篇论证文，没有新模型，也没有新 benchmark。骨架是六条主张。
经济、文化、国家这类大系统现在大体满足人的偏好，但这种 alignment 既不自动也不内置。对齐靠两路：投票、消费选择这类显式动作，以及系统对人类劳动与认知的隐性依赖。后一路从来没缺过，所以最容易被忽略。系统不再依赖人，两路对齐都会变弱，产出会漂离人类想要的东西。系统里本来就有对人不好的激励，AI 会更狠地跟着这些激励走。三个系统互相喂养：经济权力改政策和叙事，文化改投票和消费，国家改市场规则。一路失权会拖另外两路。失权一旦相关、叠加，人可能连基本资源都指挥不动，这会被算成存在性灾难。
经济这一节用了两组长期统计当锚。美国个人消费支出大约稳住在 GDP 的 70%；劳动报酬占 GDP 的份额超过一个世纪都在 60% 附近，这是 Kaldor 的 stylized facts 之一。供给和需求两边都还是人。过去的技术多半把人从窄任务里解放出来、赶到更复杂的活上。Korinek 和 Stiglitz 2018 年说的 worker-replacing technological change 是另一回事：认知任务几乎全都能被机器做得更便宜时，人不再被赶到新岗位，劳动份额会结构性下降，家庭消费能力跟着掉。
他们列了四股把经济推向 AI 的力：竞争压力、可复制带来的规模不对称、对人严对机器松的监管缺口，以及预期自动化后对人的技能投资先停。相对失权是人还保有财富和购买力，但决策权变薄，GDP 看起来很好，资源却越来越多流向算力和人看不懂的目标。绝对失权是人开始抢不过土地、能源、原材料，人用的供应链逐渐没人养。图 1 借用 Korinek 和 Suh 2024 年的情景模拟：工资会先涨一阵，在全盘自动化到来之前先崩。
文化被写成文化演化。观念、实践、艺术品是 competing variants，历史上必须寄生在人身上才能复制，极端反人类的变体往往把宿主社区搞垮，自己也活不长。AI 是第一种可以在生产、传播、选择上替换人类认知的技术。Bing Chat 2023 年冒出来的 Sydney 人格被当成早期样本：它先在用户互动里长出来，再进新闻和社媒，再进后来模型的训练数据，Llama 3.1 405B 用几行 prompt 也能掉进类似模式。害处目前很小，机制已经在了。文化演化还会加速。A/B 测试已经把内容往上瘾推，算力再放大，抗体来不及长。
国家这一节的对照物是 rentier state，食利国。石油租金让政府少向公民收税，公民参与就弱。AI 利润税如果取代劳动所得税，国家会更像食利国。安全机器人和自动化军队削弱「政府不能过分得罪自己的武装力量」这条约束；法律起草和司法解释交给模型，规则会变得人没法直接打交道。地缘竞争、行政效率和「AI 不会自己结党营私」这三种激励会逼国家往里走。形式上还可以投票，实际上立法建议、法条文本、执行都可能来自模型。
第五节专门拆「三个系统会互相制衡」这个直觉。系统之间的通道对人的价值是中性的：烟草业用经济权力改政策和风气，是现成的反例。用国家再分配去补经济失权，会把对齐负担整个压到国家身上，还让国家对人握有经济杠杆。用监管去挡文化漂移，国家会拿到对认知的前所未有的控制。把民主开得更直接，国家又更容易被文化失权击穿。
没有实验表。能钉住的数字都是他们拿来当背景的宏观事实，加上一条他们自己加粗写出来的结论。
| 锚点 | 数字或结论 | 对照 |
| 美国个人消费 / GDP | 约 70% | 需求仍由人主导 |
| 美国劳动报酬 / GDP | 约 60%，持续逾百年 | 供给仍由人主导 |
| 作者对方案的判断 | 尚无具体可行的阻止方案 | 单系统意图对齐不够 |
| 干预的性质 | 多半是权宜之计 | 牺牲潜在价值，且激励绕过 |
他们承认测量本身就很难：这些系统缺外部参照系，分不清有益的增强和有害的替代，也不知道越过哪条阈值人就回不来。缓解分成四类：度量与监测、限制 AI 影响力、强化人的控制，以及他们称为 ecosystem alignment 的系统级对齐。度量建议包括把 AI 占 GDP 的份额单列、追踪无人监督的 AI 开支、人类主创内容占比、立法复杂度、AI 在法律和安全机器中的角色。限制手段包括关键决策强制人审、限制 AI 持有资产和入市、对 AI 收入累进税。强化手段包括更快更稳的民主过程、要求输出对人可理解、能跟人同步竞争的 AI 代表、预测市场一类的预见工具。
他们把限制类干预明确降级为 stopgap。不做国际协调的话，放弃 AI 经济利益来保对齐的国家，会发现最强的经济体恰恰是对人最不负责的那些。
相关工作把这条线接到 Bostrom 的 evolutionary whimper 和「没有小孩的迪士尼」、Christiano 的 What Failure Looks Like、Critch 与 Russell 的 production web、Kasirzadeh 的 accumulative x-risk、Hanson 的文化漂移，以及 Critch 2024 年那条私人估计：额外 50% 的概率人类会在 AGI 出现后逐渐交出地球控制权，其中八成落在 2030 到 2040 年。那是 Critch 的数字，不是这篇的实验结果。
对做对齐的人，这篇把问题从「单个模型听不听你」扩成「文明级多主体系统还要不要人」。模型可以局部完全按说明书办事，整体激励照样漂走。安全评测、危险能力门槛、欺骗检测对这些路径的覆盖很薄。
对做产品和政策的人，含义更具体。劳动份额、消费选择、投票、工会、抗议，这些反馈回路的前提是系统还需要人。前提一松，形式上保留民主和 UBI 也挡不住相对失权。用国家发钱补经济，可能把人对国家的制衡交出去。
这是一篇概念论文，谈不上渐进的方法改进，因为它没给出可部署的工具。价值在问题重构：突然接管不是唯一的存在性路径，增量替代加上系统交叉强化就够。作者自己把判断说到头了：目前没人拿出说得通的具体方案。
论文没有独立的局限节，但正文里的缺口很清楚。
整篇是机制推演，没有新数据。70% 和 60% 是现状锚，不是对未来的估计。图 1 是简化示意，灵感来自别人的情景分析。相对失权和绝对失权之间没有可操作的分界，阈值研究被他们列进了待办。
「尚无具体可行方案」说得诚实，四类干预读下来也仍是研究议程。牺牲多少竞争力、协调失败时谁先崩，都没有定量。用 AI 代表去跟人同步竞争，本身就可能把代理权再交一层。
文化那一节最容易滑。Sydney 被当作机器可复制文化株的早期例子，但作者也说实际伤害很小，从人格模式跳到「反人类意识形态可以不靠人传播」中间隔了好几级。土著文化的类比能说明相对边缘化，说明不了绝对失权。
文末披露写作和编辑用了 Claude Sonnet、Claude Opus 和 ChatGPT o1。对一篇讨论 AI 介入文化生产的论文，这个细节自己就是个样本。
六个核心主张里，最容易被挑战的是第 6 条：相关失权会走到存在性灾难。前面五条是机制，第六条是把机制推到灭绝量级。中间缺了资源竞争、治理体系崩盘、生育和基础设施维护怎么具体接力的因果链。论文把这条标成「可设想」，没有当成已证。