NVIDIA 发布稀疏注意力八条设计准则,Top-k 复用提速 2.4 倍
NVIDIAAI · x · 2026-11-21
NVIDIA 技术博客发布长上下文推理的稀疏注意力协同设计指南,指出稀疏注意力虽让每个 query 只处理少量 key,但打分全部 key 的成本被转移到仍需处理完整上下文的 indexer 上。核心要点:
- Indexer 设计:作为带融合 epilogue 的批量 matmul 运行,其算术强度随组大小 G 和投机草稿长度 D+1 缩放,需在约 200 行的 Tensor Core tile 内;使用 KH=1 加跨头归约,每 key 只写一个 logit,避免解码耗时随 key head 数线性增长
- 精度与维度:indexer head 维度取 128/256 平衡 Tensor Core 利用率与解码内存流量,epilogue 与累加用 FP16 提升吞吐
- 减少 key 打分量:通过压缩、层级索引或索引共享,同时降低 indexer 和 Top-k 选择的工作量
- 融合与复用:Top-k 融入 indexer kernel 消除 logit 读写;复用上一步解码的选择作为猜测,可将 Top-k 提速 2.1x–2.4x;块级大块选择让核心注意力批量取 key 并跨 query head 复用
配套资源包括 Guess-Verify-Refine Top-k 论文、TensorRT LLM 的融合 Top-k 实现以及 FlashInfer 中的开源融合 indexer/Top-k kernel。
「Infra」频道最新
- Vespa 创始人创办 Hornet:打造 agent 时代检索基础设施 — jobergum · 2026-11-21
- Nebius 透露 Q3 算力协议涨至每兆瓦 2500 万美元以上 — Beth_Kindig · 2026-11-21
- llama.cpp 新增 llama serve 命令,Inkling 2 Mini GGUF 一行即起服务 — simonguozirui · 2026-11-21
- 本地推理引擎 TensorFold 1.3.2:96 个 PR,DeepSeek-V4.1 Metal 解码提速 6-17% — AIFlow_ML · 2026-11-21
- Ollama CEO 撰文:企业采用开源模型的需求持续增长 — ycombinator · 2026-11-21
- 英伟达单日暴跌 13.17%,股价触及 126.75 美元 — jfischoff · 2026-11-21