Writer 论文：多层索引器让 DeepSeek 稀疏注意力解码提速

Writer · hf · 2026-11-06

Writer AI Research 发布论文《Multi-layer Indexer: Overlapping Selection and Attention in DeepSeek Sparse Attention》。DeepSeek 稀疏注意力（DSA，用于 DeepSeek-V3.2 与 GLM-5 系列）中每层前置的 lightning indexer 需对整个 KV cache 打分并保留 top-k=2048 token；长上下文场景下解码耗时主要卡在 indexer 扫描上，注意力每层都要等它。

关键观察是相邻层选出的 token 几乎相同，因此让当前层直接复用上一层 indexer 的选择结果，即可解除依赖：indexer 扫描与本层注意力并发执行，即 Multi-layer Indexer（MLI），无需重训即可部署，在保持精度的同时提升长上下文解码吞吐。