vLLM 详解 Step 5 Preview 稀疏注意力：先选区域再读历史
vllm_project · x · 2026-10-15
vLLM 官方线程中的一条，详解 Step 5 Preview 稀疏注意力的工作机制：模型先对历史生成区域摘要（region summaries），indexer 对摘要打分并选出相关区域，然后只对被选中的 token 做注意力计算，尚未处理完成的区域则保留在本地滑动窗口中。
backbone 将滑动窗口注意力与稀疏注意力结合，配合 MoE 与多 token 预测（MTP），并带有独立的视觉处理路径。此帖与线程首帖属同一发布事件，细节互为补充。
所属事件:vLLM 首发 Step-5 Preview 日 0 支持：稀疏 prefill 延迟降 2.2%(4 条相关)→
「Infra」频道最新
- NVIDIA 将亮相 SIGGRAPH Asia 2026，聚焦神经渲染与机器人 — tomaszbednarz · 2026-10-15
- Google TPUv7 首次参测:每美元性能达 GB300 NVL72 的 1.67 倍 — scaling01 · 2026-10-15
- 微软 MAI-Image-2.6 上架 Vercel AI Gateway，一个 Key 调两档模型 — lmoroney · 2026-10-15
- Inworld 开放推理服务:月处理数十万亿 token,按请求设定优先级 — thetripathi58 · 2026-10-15
- 16GB 内存何时能本地跑平 Opus?聊聊端侧 LLM 的现实距离 — bit_freak · 2026-10-15
- vLLM P/D 原型实测:12×GB300 上前缀命中率 91.24% — vllm_project · 2026-10-15