小红书开源DoSA:无损加速稀疏注意力索引器,首token延迟最高降48%

小红书 Dots 团队开源自研的 DoSA(Dots Sparse Attention),针对稀疏注意力(如 DeepSeek-V3.2 的 DSA)中负责筛选 token 的索引器成为长上下文预填充瓶颈的问题进行加速。在约 1M token 上下文测试中,索引器占据预填充 GPU 时间的相当比例;DoSA 在保持原始 Top-K 选择结果不变的前提下,将首 token 延迟降低 37% 至 48%。

2026-10-20 ~ 2026-10-21 · 2 条相关

另有 1 条近重复转述:小红书技术REDtech