新论文提出 SPS Transformer：将状态与预测拆分为双流

近期一篇探讨 Transformer 架构的新论文在技术社区引发关注。该论文提出了 State-Prediction Separation（SPS）Hypothesis，直击 Transformer 底层架构设计：标准模型让同一个 hidden state 同时承担“保存后续所需状态”和“预测下一个 token”两种职责，这两类目标可能彼此竞争。这一思路之所以值得重视，是因为它试图从根源上拆分 hidden state 的职责，而非仅仅进行局部模块微调。

关键细节

根据 Yoav Artzi 对论文的介绍与相关转发信息，SPS Transformer 将原本混合的职责拆分成两条并行流：一条从输入 token 出发，负责构建状态并形成 kv cache；另一条则专门承担预测下一个 token 的任务。论文给出的核心结论是，采用这种双流分离结构后，模型的整体表现优于标准的 Transformer。

目前已知与未披露信息

从现有帖子能确认的重点主要是这项方法的核心假设与双流结构方向。帖子中并未提及具体的实验设置、使用的数据集、版本信息或性能提升的具体幅度。因此，现阶段更适合将其视为一种值得关注的架构创新思路，而非已被完整工程验证的最终结论。

2026-07-14 ~ 2026-07-15 · 5 条相关

• 【源头】SPS Transformer 分离状态与预测 — yoavartzi · 2026-07-14
• Transformer 状态与预测分离 — burny_tech · 2026-07-14
• SPS Transformer：双流并行的新结构 — heghbalz · 2026-07-14
• SPS Transformer：把状态和预测分开 — burny_tech · 2026-07-15

另有 1 条近重复转述:burny_tech