NVIDIA提出SparDA架构:解码提速1.7倍,长文本推理更准
HankYeomans · x · 2026-08-13
NVIDIA 研究团队提出了名为 SparDA（Sparse Decoupled Attention）的新型 Transformer 架构，旨在解决长上下文大模型推理的瓶颈。
核心改进与效果：
- 解码速度提升 1.7 倍，长文本推理准确度提高 6.5 个百分点。
- 传统 Sparse attention 虽然减少了计算量，但 KV cache 仍随序列长度增长，导致显存溢出并引发 PCIe 传输瓶颈；且稀疏选择步骤本身仍保持 $O(T^2)$ 复杂度。
- SparDA 在传统的 Q、K、V 投影之外，引入了第四个投影层 Forecast。它能预测下一层所需的 KV 块，实现前瞻选择，从而让 CPU 到 GPU 的预取与当前层的执行重叠进行。
工程细节：
- 该机制与注意力查询解耦，在 GQA 实现中每个 GQA 组仅使用一个 Forecast head，降低了选择开销。
- 仅增加不到 0.5% 的参数量，且只需训练 Forecast 投影层即可匹配原始选择器的注意力分布。
「Infra」频道最新
- Rebasely 公测：为人和 Agent 共写代码打造的新 Git 托管 — handotdev · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- CoreWeave 三位联创 IPO 后套现 33 亿美元,信贷风险引股价震荡 — SumitGup · 2026-10-16
- 传闻新模型 cherry pi 小到能跑在树莓派上? — sull · 2026-10-16
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16