Topological Out-of-Domain Generalization in Dynamical Systems Reconstruction
Georg Trede, Charlotte Ricarda Doll, Elias Weber, Daniel Durstewitz
cs.LG, math.DS, nlin.CD
2026-06-22
定位层级式动力学重建 OOD 失效的三个结构根源,用特征拆分加稀疏正则实现零样本跨分岔,预测出训练域外的混沌与极限环。
动力系统重建(DSR)要从时间序列学出生成式代理模型,复现真实系统的吸引子几何和长期统计。近几年的做法是层级式训练:一族系统共享一套「物理定律」参数,每个系统再由一个低维 latent 特征经仿射映射生成专属参数。训练后这些特征常常与真实控制参数近似线性相关,照理把特征延伸出去就能预测没见过的参数。
实际不行。跨过 tipping point(分岔点)进入拓扑结构不同的新 regime 时,模型照样失效,得在新 regime 的数据上微调甚至重训。这篇把病根定位到模型结构:三个结构假设与物理系统的典型性质冲突,每一处都有定理证明外推失败是必然的,与训练是否充分无关。
预测新参数时,对每个特征拟合幂律、带符号幂律、抛物线三类候选,训练域内 5 折交叉验证选型后外延。实验覆盖离散时间(shPLRNN)与连续时间(Neural ODE)两类架构,结论一致。
评估用真实与重建分岔图之间的 Wasserstein-1 距离,10 次训练取中位数。
| 实验 | 训练域 | OOD 结果 |
| Lorenz-63,Neural ODE | ρ∈[5,22.5],双不动点 regime | 无正则模型在混沌转变(ρ≈24.74)处崩溃;加低秩与稀疏正则后,整个 ρ∈[22.5,35] 外推区重建真实分岔图,域内性能两者相当 |
| Lorenz-63,shPLRNN | 同上 | 正则化模型在 ρ=29 重建 10000 步混沌轨迹,未正则模型收敛到不动点 |
| Selkov,两种架构 | b∈[0.8,1.1],不动点 regime | feature splitting 模型预测出极限环出现和第二次 Hopf 分岔回到不动点;单特征模型失败,特征升到 2 维同样失败 |
两个修复各管一个缺陷:Selkov 的 b 是不进 Jacobian 的注入项,splitting 是主导,加正则无一致增益;Lorenz-63 的 ρ 进 Jacobian,单靠 splitting 挡不住满秩模型发散,正则加 splitting 组合误差最低。开销很小:Selkov 每个模型约 10 分钟、2GB 显存,Lorenz-63 的 Neural ODE 约 30 分钟、4GB。
Tipping point 恰是科学 ML 最需要预测的对象,气候临界点、癫痫发作、生态崩溃都在这一类,也恰是现有模型集体失灵的地方。这篇把「为什么外推必挂」从经验观察变成三条可证明的结构定理,RNN 和 Neural ODE 都适用;修复只是参数化与训练目标的小改动,不需要额外数据,训练时也不需要已知真实控制参数,单卡几分钟可训。教训不限于 DSR:凡拿仿射映射从 latent 特征生成权重的条件模型(hypernetwork、context-conditioned 模型),稠密耦合在域内看不出问题,外推时才收利息。
诚实地说,这是在低维教科书系统上解锁的能力,离真实高维观测还有距离。
作者自列三条:控制参数仿射进入方程的假设未必普遍;稀疏性假设不是所有系统都有;离散化失配目前只有界没有解。读下来再补两点。全部实验只有 Lorenz-63(3 维)和 Selkov(2 维),没有高维或真实数据。外推管线要拿控制参数的数值去拟合特征函数并求新特征,结论里「不需要真实控制参数的显式知识」更准确的读法是训练阶段不需要。另外 Fig. 3B 展示的分岔图取的是各组误差最低的 run,中位数曲线在远离训练域处仍有可见误差带。