小红书 Dots 团队开源 DoSA:稀疏注意力 Indexer 提速至 2.74 倍
dots-studio · hf · 2026-10-14
小红书 Dots Studio 团队发布 DoSA(Dots Sparse Attention),一种无损的稀疏注意力加速方法:稀疏注意力只需访问少量 key,但现有 indexer 仍需给每个 key 都打全分。DoSA 的核心观察是 Top-K 选择只需要「足够证据拒绝候选」,不必算出完整分数——用种子集给出胜出阈值下界,非负头投影与联合残差界定正贡献上界,再按激活聚合界定负头减去的幅度,形成可证明的证书只对仍可能入选的候选做全量打分,再配合精确分数过滤减少写回与选择开销。
性能:GPU 实现使完整 Indexer 相比 SGLang 提速最高 2.74 倍、相比 LiteTopK 提速 1.69 倍(覆盖英文、中文、代码负载);端到端在 GLM-5.2 和 DeepSeek-V3.2 上分别取得最高 1.94 倍和 1.50 倍的首 token 时间加速。代码开源。
「Infra」频道最新
- 本地跑编码智能体：内存成本已超过 token 成本 — RishabJainK · 2026-10-14
- 时隔 14 年更新的 CUDA 刚体管线跑出 204.8 万张骨牌 — erwincoumans · 2026-10-14
- RL 训练占比飙至 55%:SemiAnalysis 图表误读正在刷屏 — repligate · 2026-10-14
- 百个工程师配 AI 即达万人协作:monorepo 需要新 Git 原语 — rickasaurus · 2026-10-14
- Modal 证明 RL 训练可用混合加速器集群，成本更低且收敛不输同构 — charles_irl · 2026-10-14
- 后院「分布式数据中心」小屋：为本地 LLM 打造的 ADU 创业 — dee_hw · 2026-10-14