15M 参数对照实验:线性 RNN 与 Transformer 精度持平,训练快 6 倍
AlarmingTrouble5261 · reddit · 2026-10-15
受 TypeSafe 非生成式「决策模型」Jev 启发,作者在预算严格对齐(±0.02%)、参数量约 15.09M 的条件下,端到端对比了线性循环骨架(自研 Gated Segmented State Space)与标准 Transformer 注意力骨架 + 相同决策头,任务为长上下文检索决策(2k–8k 字符段落中判断 4 选 1 句子是否出现)。全部在 Colab T4 上训练,notebook 可复现,代码已开源。
结果:
- 精度:两者都没学好——测试集 26.8% vs 28.2%(随机基线 25%),作者如实报告负面结果:15M 规模的决策模型无论底座都缺精度。
- 延迟:出现真实交叉点——约 1550 token 以下 Transformer 更快;T=8192 时线性模型快 2.37 倍(108.6ms vs 257.7ms),O(T) vs O(T²) 如理论预期显现。
- 训练成本:差距最大——6 个微调 epoch 线性模型约 30 分钟,Transformer 每个 epoch 需 40–45 分钟,约 6–7 倍差距且随规模扩大。
- 更早轮次(V2/V3,短上下文决策任务)中线性模型精度 outright 获胜(50.4 vs 46.2、66.2 vs 61.0)。
结论:线性循环在短上下文决策上赢或平、在长上下文成本上碾压,只是这个规模下学不会更难的检索任务。双向变体 V5 正在训练中。
所属事件:15M 参数对照实验：线性 RNN 与 Transformer 精度打平且更快(2 条相关)→
「研究」频道最新
- Perceptic 发布 PercepticOS:面向「科学超级智能」的 AI 科研工作台 — nathanbenaich · 2026-10-23
- EPFL Bosselut 11 月线上演讲:长上下文处理即测试时学习 — andre_t_martins · 2026-10-23
- CMU 博士生分享：全注意力 Transformer 训练后期可改造为混合架构 — Cohere · 2026-10-23
- 40.68MHz超短波10分钟加速大脑排废，小鼠实验缓解阿尔茨海默病理 — NickPassig · 2026-10-23
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23