稀疏注意力新法COBS
MatXComputing · x · 2026-07-15
这条转发讨论的是块稀疏注意力在长上下文检索上的效果问题。 - 作者指出，硬件很“需要” block sparse attention，但它在开源 LLM 里并不常见。 - 他们观察到：DeepSeek 提出的 NSA 如果直接替换 dense attention，在合成检索任务上会明显变差。 - 在 32k 上下文基准上，NSA 得分只有 **0.300**，而 dense attention 是 **0.904**。 - 团队提出了 **COBS（Cumulant Order Block Sparse Attention）**，声称可以把 NSA 的表现从 **0.300 提升到 0.820**，弥补约 **86%** 的差距。 - 同时，COBS 的 KV-cache 读流量比 dense attention 低 **15.15 倍**，只比 NSA 基线高 **1.21 倍**，并且在比较中取得了更低的位置相关 NLL。 核心结论是：块稀疏注意力的关键在于**块选择（block selection）**。