The Dynamics of Intelligence Explosions
Toby Ord
cs.AI, econ.TH
2026-08-15
牛津 Toby Ord 证明,递归自改进要出垂直奇点,反馈环耗时必须足够快地趋近零;否则能力再涨也只是超指数。
I. J. Good 在 1965 年给出「智能爆炸」:一台远超人类的机器能设计更好的机器,迭代下去,人类智力会被甩开。近年这条反馈环被叫做递归自改进(RSI),从人类仍做大部分工作,到 AI 几乎包办下一代系统,都算进去。
近年一批经济学启发的模型,把能力 A 的变化写成 Ȧ = kA^r。r>1 时轨迹是双曲线,会在某个有限时刻 t 冲向垂直渐近线,即有限时间奇点。Jones 的半内生增长把研究者人数、踩脚效应 λ 和捞鱼效应 β 写进 Ȧ = δ L^λ A^{1-β},人口固定时连指数增长都难。Davidson 等人把 AI 劳动写成算力乘以效率 L = C A,指数变成 1+λ-β,又可能大于 1,奇点重新上桌。
牛津大学 Toby Ord 指出,这套写法把两类爆炸搅在一起:一种是超指数但永远到不了无穷,一种才是有限时间内冲向垂直墙。被忽略的关键参数是绕一圈反馈环要多久,即代际时间。
连续情形从 Ȧ = f(A) 出发,不再锁死幂律。超指数要求 f 对 A 超线性,相对增长率能超过任意常数。奇点另要一条整体条件:从当前能力积到无穷所需时间 ∫ dA/f(A) 必须收敛,称为 blow-up 条件。局部凸性既非必要也非充分。
这拆开一类被幂律吞掉的轨迹。Ȧ = A log A 已经超线性,积出来却是双重指数,积分发散,没有奇点。后面再叠 log log,仍然如此;只有把最后一项抬到大于 1 的幂,才会吹破。Kurzweil 早就偏好 A log A,理由几乎一样:有限世界很难给出无穷知识。
更关键的一步是承认反馈环是一串耗时步骤,不是连续冷却。纯差分方程 ΔAn = f(An) 里,无论 f 涨得多猛,有限步只能加有限量,奇点不可能。Ord 把差分嵌进连续时间,每一步带自己的代际时间 Tn。
奇点定理把条件劈成两条独立门槛,彼此不能互相补。Zeno 条件要求 Σ Tn 收敛,无穷多圈必须挤进有限时间,代际时间要足够快地趋近零:1/n 太慢,1/n^{1.01} 够快。无界条件要求 Σ ΔAn 发散到正无穷,每圈加的量不能缩得太狠。
梯度等于上升除以跨度。离散设定里,把跨度压向零才是奇点的引擎;每圈上升甚至可以固定。翻倍时间缩向零只能定义超指数,不能定义奇点。固定时滞的延迟微分方程同样只能超指数。
Solomonoff 给过一个玩具:若 AI 劳动力能维持摩尔定律,第一次翻倍 2 年、第二次 1 年、第三次半年,4 年就会奇点。Moravec 把门槛写成第 n 代要比第一代快过 n log n log log n 这一串。Eth 和 Davidson 讨论过训练时间自我压缩,也落到同一族阈值。
| 模型 | 超指数是否等于奇点 |
| Ȧ = kA^r | 是,r>1 即双曲奇点 |
| Ȧ = f(A) 一般形式 | 否,中间有双重指数等窄带 |
| 纯差分 ΔAn = f(An) | 全部超指数都非奇点 |
| 时间嵌入差分 | 奇点难得多,默认是超指数但非奇点 |
一个尖锐对照:代际时间按 1/n 缩、每圈把 A 做 2 的幂塔相乘,增长是四次运算级别,仍无奇点;代际时间按 1/n^{1.01} 缩、每圈只加 1/n,两条门槛都过,反而吹破。
能力尺度会改超指数判定,不太改奇点判定。A 与 log A 只要同为无界,blow-up 一起过或一起不过。国际象棋用 Elo 看是近似线性,用 Bradley-Terry 的强度比看就是指数,同一段进度能被说成两种形状。但平均故障间隔或 METR 时间视界冲到无穷,只等于某类任务可靠度到 100%,并不等于一般智力无穷。Ord 把前者叫坐标奇点。
真实过程还会先撞上有限限制。代际时间几乎不可能任意接近零:从继任 EUV 光刻的十年级环,到改 scaffold 的秒级环,短环只覆盖管线的一小截,很快饱和。若 Tn 落到地板 T,每圈固定比例增长,A(t) 会收敛回一条更快的指数,而不是垂直墙。Ord 勾了一条分相位轨迹:人类指数,再进入代际时间被压低时的超指数,再落到机器速度指数,最后能力触顶走 logistic。
政策建议很具体:前沿实验室应报告当前代际时间,尤其是预训练和 RLVR 后训练那两段。即便只是线性加速到 A(10t),每年吃掉十年人类节奏的进展,危险已经够用,并不需要曲线改形状。
对跟 takeoff、软件智能爆炸、半内生增长那批文献的人,这篇是一次测量学纠正。月增速从 10% 到 20% 到 30%,在幂律模型里会被读成双曲起飞;同一串数字对应的是 exp(e^{0.1 t}) 量级的双重指数,不是垂直渐近。弹性大于 1 的局部测量既不能证实也不能排除爆炸,因为 blow-up 和 Zeno 都是全局性质。
可操作的监测对象从「能力涨多快」换成「这一圈要多久」。公司内部评估和外部监管如果围着弹性打转,而代际时间有地板,模型会在真正饱和之前很早就失效。
这是理论澄清,不是新实验。它把「奇点很难」写成两条不能互相补的门槛,并说明超指数但非奇点才该当默认情景。
全文几乎没有实证。没有用真实训练周期、芯片迭代或 agent 循环的数据去估 Tn 现在多长、能缩到多短。附录增长率表是微分方程族的解析对照,不是观测。
A 始终是占位符。Ord 自己承认智力没有公认基数尺度,论文也没给出可计算的操作定义。分相位轨迹依赖一个未验证的假设:每圈固定比例增长,且代际时间先于能力触顶见底。
Zeno 条件把物理过程理想化成可数无穷圈。真实世界在时钟分辨率、因果延迟、晶圆厂排期上都会先停。Ord 也说模型在 t 之前就会失配,奇点更多是指出新机制必须介入的标记,而不是预言无穷智力。
最后一段用 A(10t) 提醒危险不依赖奇点,但没有量化何种速度已经不可治理。把 RSI 的危险主要押在「相对安全研究加速」上,这篇几乎没展开。