Continual Learning of Dynamical Systems in Recurrent Neural Networks through Recyclable Unit Gating
Sima Hashemi, Daniel Durstewitz, Georgia Koppe
cs.LG
2026-09-30
提出 CRUG 单元门控法：RNN 依序学四个动力系统零遗忘，整体误差 1.26 还低于联合训练的 3.37，容量仅用四成。
动力系统重建(DSR)比常规时间序列预测苛刻：模型必须自主演化，生成轨迹要复现原系统的吸引子几何和时间统计。混沌系统上这两件事不等价，短期预测准不代表学到了动力学。
cDSR 再叠加持续学习：系统按顺序到来，模型要边学新边保旧。循环网络在这里格外脆弱，自由 rollout 中参数被反复使用，微小更新经长时间自主演化放大后，会定性改变生成动力学。前馈分类上成熟的持续学习方法能否扛住这个更严的标准，此前没有系统答案。这篇在可解释的分段线性架构 AL-RNN 上测齐三大流派(参数正则、replay、参数隔离)，并提出新方法 CRUG。
CRUG 属于参数隔离家族：给每个任务划一块专属单元，从结构上避免干扰。三个机制：
推理时不需要任务专属 mask，所有已学系统在同一网络里并行运行，各走各的 readout。这是它与 HAT 一类方法的实质区别。
主 benchmark:Van der Pol → Lorenz-63 → Rössler → Chua 依序训练，AL-RNN 160 单元(80 个非线性)，10 次运行。整体性能取每次运行内最差任务的最终值；Dstsp 是状态空间散度，DH 是功率谱 Hellinger 距离，越低越好。非隔离方法共享全部 160 个单元。
| 方法 | 整体 Dstsp | 整体 DH | 占用单元 |
| EWC | 发散 | 发散 | 160 |
| SI | 15.19 | 发散 | 160 |
| ER | 10.11 | 0.04 | 160 |
| GR | 7.39 | 0.05 | 160 |
| XdG | 17.70 | 0.14 | 共享 |
| CLNP | 3.81 | 0.14 | 123.5 |
| CRUG | 1.26 | 0.08 | 63 |
| 隔行联合训练 | 3.37 | 0.05 | 160 |
CRUG 10 次全部完成，CLNP 有 3 次耗尽自由单元池。CRUG 的整体 Dstsp 甚至低于四个系统混在一起联合训练(1.26 vs 3.37，p=0.038)，主要来自 Rössler 重建更好。EWC 和 SI 学得会、忘得干净；ER 保住前两个系统，Rössler 却从 2.67 恶化到 10.11。换任务顺序、换另外四个混沌系统(Blasius、Laser、Genesio–Tesi、Finance)结论稳定，后者里 CRUG 把全部任务学到 Dstsp<1.0、零遗忘，只提交约 60% 单元且不存 replay 数据。
真实数据上，12 名神经退行性疾病被试的步态记录当作 12 个任务，1024 单元模型学完无可见遗忘(中位 D̃stsp=2.12)，容量占约 48%；与分组建四套模型相比，重建好 27%、提交单元少 30%。9 个认知任务的套件上，CRUG 最终准确率最高，只用约 30% 容量，其余方法用满容量仍更低。
迁移何时有用：换成四个只改参数 ρ 的 Lorenz-63 变体后，所有带迁移的变体在重建-容量 Pareto 前沿上胜过无迁移；异质序列上迁移无优势。迁移权重与任务内权重的 RMS 比值在 Lorenz 族显著更大(p<0.001)，共享动力学结构时迁移通路确实被更强地调用。
对做科学动力学建模(神经科学、生态、气候)的人，这是第一个在「全参数可训练 + 长时自主 rollout 保真」标准下的持续学习系统比较，EWC、SI、replay 集体失灵本身就有信息量。CRUG 的容量经济学有实用价值：同样规模的网络装下更多系统，推理时不需要任务路由。机制也不绑死 AL-RNN，任何能选择性约束连接的循环架构原则上都能套用。对主流 LLM 从业者，这是一篇小模型、机制清晰的工作，可搬走的是设计(单元级分配、回收、单向迁移)，不是现成代码。
作者自列四条：任务边界和身份已知(task-incremental 设定)；回收只是推迟容量耗尽，已提交单元永不释放；学到的分配不能当作系统的内在最小容量，它依赖优化、正则和此前学了什么；Lorenz 族里迁移更好用，但迁移了什么仍不清楚。另读出两点：committed 单元池是硬上限，任务数继续增长后的扩展性没有讨论；认知任务上所有方法都明显好于 cDSR 设置，这部分结果更像泛化佐证而非主要卖点。