2026-10-01
DEER 类并行求解的收敛速度由最大 Lyapunov 指数决定：λ<0 时总时间 O((log T)²)，混沌侧指数变慢；混沌观测器仍 3 步收敛。
DEER、DeepPCR 这类方法把非线性状态空间模型的串行求解改成并行优化：把整条轨迹堆成一个变量，最小化残差平方和，每步 Gauss-Newton 更新通过并行扫描解一个块双对角线性系统，单步成本只有 O(log T)。但单步便宜不等于整体便宜，真正决定成败的是优化需要多少步收敛，这个问题一直没有理论答案，实践里全凭运气。这篇给出了精确判据，把「哪些系统能被这类方法加速」变成一个可以事前分析的问题。
切入点是把优化难度翻译成优化地形：残差平方和满足 PL 条件（Polyak-Łojasiewicz，梯度范数平方控制函数值到最优的差距），PL 常数由残差 Jacobian 的最小奇异值决定。核心定理（Theorem 2）证明这个常数被系统的最大 Lyapunov 指数 λ 控制：λ<0（可预测，扰动随时间被遗忘）时有与序列长度无关的下界；λ>0（混沌，扰动指数放大）时随 T 指数衰减，损失面出现极端平坦区。
直觉很直接：混沌系统里把初始状态挪动一点点，之后整条轨迹面目全非，残差却几乎不变；优化器面对的是一片平地，无从下手。在此之上有三个配套结果：这个问题结构下的 Gauss-Newton 全局线性收敛（Theorem 4，一般 Gauss-Newton 没有这种保证）；二次收敛盆半径不小于 2µ/L（L 为动力学 Jacobian 的 Lipschitz 常数）；一旦进盆，达到 ε 精度只需 O(log log(1/ε)) 步。综合起来，可预测系统的总计算时间是 O((log T)²)。
| 设置（T=30000） | DEER 步数 |
| 九个 dysts 混沌系统本体 | 697 到 30000（封顶） |
| 对应的稳定观测器 | 全部 2-14 步 |
| Lorenz 本体（LLE=1.02） | 30000（封顶） |
| Lorenz 的观测器（LLE=−6.28） | 3 |
在一族平均场 RNN 上扫 λ，步数恰好在 λ=0 处急剧跳变，与理论预测一致；理论刻画的地形条件与实测步数跨 λ、跨 T 对得上。H100 实测：可预测设置下 DEER 比串行快一个数量级，混沌设置下反过来慢一个数量级。双井 Langevin 动力学在井间局部不稳定，整体 LLE 为 −0.0145，DEER 步数随 T 只有亚线性增长，说明判据看的是整体平均可预测性，不要求处处稳定。
第一，给出事前判断：算一个系统的 LLE，就知道并行化值不值，机器人与控制里大量强耗散系统直接受益。第二，直接指导架构设计：要让非线性 SSM 可并行训练，就把收缩性参数化进网络。同期工作恰好是两个实例，LrcSSM 用收缩参数化保证 DEER 快速收敛，Danieli et al. 用 DEER 训出 7B 参数语言模型，靠裁剪权重矩阵范数保持稳定。第三，MCMC 采样链在很多设置下是收缩的，沿序列并行化已经拿到数量级加速，这篇的理论正好解释为什么。论文还指出先前工作从全零初始化，恰好处在不稳定区，理论直接提示了更好的初始化位置。
理论是 worst-case 的，λ>0 侧的界偏保守，论文另给 average-case 分析来弥补。DEER 显存占用大，quasi-Newton 省显存但要更多步，两者的取舍没有定量结论。实验集中在低维 RNN 与 ODE 基准，语言模型尺度的证据引用自他人工作。LLE 本身在高维或非平稳系统里并不好估计，「事前算 LLE」在现实里的可操作性打了折扣，这点文中未展开。