NVIDIA 发布稀疏注意力八条设计准则,Top-k 复用提速 2.4 倍

NVIDIAAI · x · 2026-11-21

NVIDIA 技术博客发布长上下文推理的稀疏注意力协同设计指南,指出稀疏注意力虽让每个 query 只处理少量 key,但打分全部 key 的成本被转移到仍需处理完整上下文的 indexer 上。核心要点:

配套资源包括 Guess-Verify-Refine Top-k 论文、TensorRT LLM 的融合 Top-k 实现以及 FlashInfer 中的开源融合 indexer/Top-k kernel。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →