CRUG 门控机制让 RNN 持续学习新动力系统且零遗忘
tweetsatpreet · x · 2026-10-02
arXiv 新论文提出 CRUG(Continually-Recyclable Unit-Gating),解决循环神经网络在持续动力系统重建(cDSR)中的遗忘问题。
核心思路:
- 在可训练、可解释的 Almost-Linear RNN(AL-RNN)上,基准测试了参数正则化、重放、参数隔离三类经典持续学习方法
- 参数隔离最能保留旧动力学,但任务专属单元分配会迅速耗尽固定容量
- CRUG 用 L0 惩罚训练的可微分门控选择任务专属单元,回收未使用单元给后续任务;有向连接让新任务复用旧表征而不扰动已固化的动力学
结果: 在测试方法中取得最优的重建-容量权衡,零遗忘,并能稳定学习一系列异构非线性和混沌系统,还观察到明显的前向迁移。
「研究」频道最新
- DeepSeek 发布 DSec 论文：每天 300 万沙箱支撑 V3.2 到 V4.1 训练 — jiqizhixin · 2026-10-02
- 与其空谈模型性能，不如亲手做一个 eval — divy93t · 2026-10-02
- Eric Topol：10.5 万人试验证明，所有乳腺 X 光筛查都应配备三种 AI — EricTopol · 2026-10-02
- Extropic 用 RL 后训练模型加速热力学算法发现，称「热力学 RSI 首个火花」 — beffjezos · 2026-10-02
- SuperPoint 优化版发布:边缘设备关键点检测提速至 2.1 倍 — sdiazlor · 2026-10-02
- 数学家 Kevin Buzzard:数学界正经历 AI 带来的'悲伤五阶段' — littmath · 2026-10-02