15M 决策模型实测：线性递推 vs 注意力，精度打平速度差 2.4 倍
AlarmingTrouble5261 · reddit · 2026-10-15
受 TypeSafe 的 Jev（只输出有界决策的非生成式模型）启发，作者在完全相同的预算与任务下端到端训练了两个约 15.09M 参数的决策模型：线性循环骨干（Gated Segmented State Space）与标准 Transformer 注意力，代码与 notebook 全部开源可复现，训练用 Colab T4。
主要结果（V4，长上下文检索决策任务，2k–8k 字符选句）：
- 精度：噪声级。 测试集 26.8% vs 28.2%（随机 25%），这个规模下两种架构都学不动难任务，作者直接报告了负结果。
- 推理延迟：真实的交叉点。 约 1550 token 以下 Transformer 更快；T=8192 时线性模型快 2.37 倍（108.6 vs 257.7 ms），O(T) 与 O(T²) 的理论差异精确兑现。
- 训练速度差距最大： 6 个微调 epoch 线性模型约 30 分钟，Transformer 每个 epoch 就要 40–45 分钟，约 6–7 倍差距且随规模恶化。
早期轮次（V2/V3，短上下文决策任务）中线性模型在精度上也 outright 获胜（50.4 vs 46.2、66.2 vs 61.0）。结论：线性递推在短上下文决策上持平或更好、长上下文成本碾压，但 15M 规模下两种底座都精度不足。V5 双向变体正在跑，结果将更新到 repo。
所属事件:15M 参数对照实验：线性 RNN 与 Transformer 精度打平且更快(2 条相关)→
「Infra」频道最新
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- Perplexity 联手 AMD 推便携 AI 主机，本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23
- Liquid AI 发布 RIPL 推理引擎：端到端响应快至 50ms 内 — JosephJacks_ · 2026-10-23
- OpenJet 引擎宣称 Qwen3.8-27B 推理速度达 llama.cpp 1.9 倍 — JeremyCMorgan · 2026-10-23
- 黄仁勋拆解 NVIDIA Vera Rubin 智能体系统四大组件 — rohanpaul_ai · 2026-10-23