Learning Chaos Without Seeing Chaos: Extrapolation of Global Dynamics in Autoregressive Transformers
Yilun Liu, Yi Zhang, Ganyu Wu, Sikuan Yan, Mengyue Wang, Alois Knoll, Volker Tresp, Yunpu Ma
cs.LG, nlin.CD
2026-09-30
8304 参数的自回归 Transformer 只在不动点区间学单步预测,闭环外推还原出直到周期 128 的倍周期级联,标度比 4.6687 与 Feigenbaum 常数差不到 5×10⁻⁴。
自回归模型的训练目标只有一件事:看历史,猜下一个状态。推理时预测被回灌成输入,模型就此变成一个自主动力系统,输入分布也从真实状态滑向模型自己生成的状态。训练若只覆盖某个局部参数区间,把参数推到区间之外,模型自己演化出的动力学还忠实于真实系统吗?
LMU 与 TUM 的团队挑了最苛刻的考场:分岔。logistic map 在参数 r 低于 3 时所有轨道收敛到不动点,越过 3 后周期 2、4、8 的轨道依次出现,最终进入混沌。训练数据只取 r∈[2,3],这个区间连一次倍周期都没出现过,评估却覆盖 [2,4]。跨越分岔要求模型在长期行为定性改变处照样给对答案,比普通 OOD 泛化苛刻得多。此前 reservoir computing、RNN、Neural ODE 都报过类似外推,transformer 上的证据则含混。
FFN 是逐 token 计算的,参数信息只能经 attention 进入状态计算,这给因果干预留了干净切口。验证也比看图严格:盲扫描找候选转变,不参考已知分岔位置;网格自适应加密;再用自动微分联立求解「周期轨道闭合 + 乘子穿过 −1」,解落在轨迹括区间内且两侧延拓确认稳定性交叉,才算数值验证通过。
| 设置 | 指标 | 结果 |
| Transformer(logistic) | 连续验证的倍周期 | 7 次,到周期 128 |
| Transformer(logistic) | 有限阶标度比 | 4.6687(同阶参考 4.669132,Feigenbaum 常数 4.6692) |
| Transformer(sine) | 倍周期级联 | 定性级联完整出现 |
| Lorenz(联合 ρ,σ) | 固定/非固定分类 | 625 格中 593 格与参考一致,翼切换复现 362/375 |
| Lorenz(28,10) | 最大 Lyapunov 指数 | 1.0404 vs 参考 0.9046,十组参数符号全对 |
| Hopf(−0.1,1) | 外环半径 | 0.948 vs 参考 0.942 |
最硬的数字是标度比。Feigenbaum 常数是普适量:不同的单峰映射分岔位置各异,极限比值却相同。模型拟合的临界指数 z=2.00(logistic)与约 2.10(sine),落在二次普适类,还原的是结构,不只是图像像。训练窗缩到 [2.9,3] 甚至下移到 [2,2.5],级联照样出现,12 个窗口-seed 组合里 11 个被粗检测确认。
涌现有时间线:2000 步时检测不到倍周期,3000 步出现第一个,4000 步已有三个。单步精度与闭环保真度还会脱钩,6000 到 10000 步间 OOD 单步 MSE 从 1.10×10⁻³ 降到 2.41×10⁻⁴,闭环 OOD W1 却从 0.0296 升到 0.0867。
因果干预钉住了机制:把第二层 attention 输出换成另一参数下的激活,参数效应几乎完整转移(R>0.99999),换第一层可忽略(R=0.000151)。闭环生成时屏蔽第二层指向参数 token 的 attention,OOD W1 从 0.03497 跳到 0.60605,网格上检测到的倍周期随之消失。主导层在不同 seed 间不同,通路是训练学出来的,不是架构硬编码;训练时随机置换参数标签,所有 run 的外推结构全部消失。
对做 world model 和科学机器学习的人,这篇给了个可检验的立场:预测器的科学含义不只藏在逐点精度和内部表示里,也藏在把它递归执行所得到的动力系统里。分岔位置、普适标度、Lyapunov 符号、吸引子选择,都能当成探测模型学到了什么的读出物。
对小模型可解释性,它是个干净实验台:8304 个参数、无位置编码、参数-状态双 token 结构,patching 与闭环屏蔽都能做因果归因,套路可以搬到更大的模型上。
边界也要说清:这是低维光滑系统上的可能性证明,不是普遍规律。