15M 参数对照实验：线性 RNN 与 Transformer 精度打平且更快

受 TypeSafe 非生成式「决策模型」Jev 启发,作者在预算严格对齐(±0.02%)、参数量约 15.09M 的条件下,端到端对比了线性循环骨干(Gated Seg… )与注意力机制的 Transformer。结果显示两者精度持平,而线性递推模型训练速度显著更快,两帖分别报告快 6 倍与 2.4 倍的差距,为小规模决策模型的架构选择提供了参考。

2026-10-15 ~ 2026-10-15 · 2 条相关

• 15M 参数对照实验:线性 RNN 与 Transformer 精度持平,训练快 6 倍 — AlarmingTrouble5261 · 2026-10-15

另有 1 条近重复转述:AlarmingTrouble5261