NeurIPS 论文:DEER+GTF 将混沌系统 RNN 训练提速超 100 倍
DangerousFunny1371 · reddit · 2026-10-01
一篇入选 NeurIPS 2026 spotlight 的论文提出对非线性 RNN 的「时间并行」训练方法,可将混沌动力系统重建(DSR)任务中的训练提速超过两个数量级(>100x),支撑超长时序(T>10^6)的高效训练。
- DEER:通过 Newton 型不动点迭代在整个序列长度 T 上求解 RNN 前向传播,把复杂度从 O[T] 降到 O[(log T)²],便于 GPU 并行;但在混沌动力学下会发散,运行时间退化为 O[T log T]。
- GTF(广义教师强制):稳定 DEER,防止混沌导致的发散,并相比传统教师强制减少 exposure bias。
- 两者结合后在 DSR 场景下大幅超越 Mamba 等状态空间模型。
预印本:arxiv.org/abs/2605.12683
「研究」频道最新
- Cell Systems 发文探讨基因组基础模型在生物研究中的未来 — mo_lotfollahi · 2026-10-23
- reuF2F 基准发布:244 道 Lean 形式化开放数学题,最佳模型仅解出 109 — wellecks · 2026-10-23
- Meta 训练 8B 小模型选工具，胜过 402B 的 Llama-4-Maverick — dair_ai · 2026-10-23
- 研究发现:熵并不能很好追踪思维链中真正重要的信息 — gsarti_ · 2026-10-23
- CT-Tox 用大鼠数据预测人体毒性:排名一致性 0.74,远超跨物种基线 — david_van_dijk · 2026-10-23
- is-lesion:用 TypeSafe Jev 在 HF MRI 数据集上检测脑部病灶 — init0 · 2026-10-23