小红书DoSA加速稀疏注意力索引器，1M上下文首token延迟降37%-48%
机器之心 · wechat · 2026-10-20
小红书Dots团队自研DoSA（Dots Sparse Attention），针对稀疏注意力中负责筛选token的索引器瓶颈做加速，在保持原始Top-K选择结果的前提下，测试中提前过滤约97%的候选。
问题：DeepSeek-V3.2采用的DSA先由索引器打分选出Top-K再由主注意力计算，但索引器本身成为瓶颈。约1M token上下文下，Dots3-Note-preview、GLM-5.2和DeepSeek-V3.2的Indexer耗时分别占预填充时间的81.6%、73.0%和90.8%。
方法：保留原始评分函数，用数学上下界证明哪些计算可省略。先选种子候选并用全部索引头重打分得到Top-K门槛下界，再为每个候选构造不低于真实得分的上界（保留少量重要头精确计算，正负权重头分别保守估计），只有上界严格低于门槛下界才排除，其余仍用全部索引头精算。工程上组织为规则化筛选、候选精算、紧凑写回三阶段，利用查询间候选重叠减少数据搬运。
结果：GLM-5.2完整Indexer微基准60种配置全部快于SGLang和LiteTopK，1M上下文下相对SGLang加速2.472.74倍。端到端TTFT在约1M上下文下，Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2较各自SGLang基线分别降低约37%、46%、48%。
所属事件:小红书开源DoSA：无损加速稀疏注意力索引器，首token延迟最高降48%(2 条相关)→
「Infra」频道最新
- Intel CTO：芯片产能最多翻倍，追不上 AI 算力每年 3 倍增速 — SammaVaco · 2026-10-23
- 工程师拆解投影电视唤醒慢根因：双 Linux 板冷启动拖慢 10 秒 — banteg · 2026-10-23
- Ollama CEO 称企业级 AI 正迎来它的 PC 时刻 — ollama · 2026-10-23
- Modal 开源 Spindle：Tinker 兼容自托管训练服务器，按 GPU 计费替代按 token 计费 — josh_wills · 2026-10-23
- Aleph Alpha 拆解 RL 环境基建踩坑:GPU 停摆、磁盘爆满、沙箱崩溃被记为答错 — _ScottCondron · 2026-10-23
- 架构师提醒：把专有芯片当战略依赖，先算清迁移成本 — DavidLinthicum · 2026-10-23