小红书开源DoSA：无损索引器加速，百万token首字延迟最高降48%
小红书技术REDtech · wechat · 2026-10-21
小红书Dots团队发布DoSA，解决稀疏注意力（如DeepSeek-V3.2的DSA）中索引器成为长上下文预填充瓶颈的问题：在约1M上下文测试中，Indexer占预填充GPU时间的73%91%。
核心思路：不同于层间复用、减少索引头等可能改变Top-K选择的近似路线，DoSA在保持原始评分函数的前提下，用分数上下界提前排除不可能进入Top-K的候选——用种子候选的第K大分数构造门槛下界，再为每个候选构造有数学保证的得分上界，仅排除上界严格低于门槛者，实现无损筛选。
效果：GLM-5.2微基准中约97%的查询-key候选组合跳过全头精算；Indexer相对SGLang加速1.122.74倍；约1M token下，Dots3-Note-preview、GLM-5.2和DeepSeek-V3.2的首token延迟相对各自SGLang基线分别减少约37%、46%和48%。代码已开源（dosa-sglang），论文arXiv:2610.13990。
所属事件:小红书开源DoSA：无损加速稀疏注意力索引器，首token延迟最高降48%(2 条相关)→
「Infra」频道最新
- HarnessRouter 开源：一套 API 统一调度 Codex 与 Claude Code 等编程智能体 — tom_doerr · 2026-10-23
- 本地 AI 安全清单:Ollama/vLLM/llama.cpp 最低版本与 LiteLLM 供应链恶意软件 — AIFlow_ML · 2026-10-23
- Bonsai 2 9B 社区挑战一周提速 6 倍，Mac 上达 959 tokens/s — gajesh · 2026-10-23
- MCP 7 月 28 日版本实现远程服务器无状态化 — bibryam · 2026-10-23
- MCP 生态大会:AAIF 成员达 305 家,Skills over MCP 等路线图曝光 — bibryam · 2026-10-23
- Fizgig 8.90 发布：多卡联合训练 LoRA，双 4090 提速 40% — shootthesound · 2026-10-23