SemiAnalysis：稀疏注意力只解带宽瓶颈，不解容量瓶颈
AccBalanced · x · 2026-10-18
SemiAnalysis 澄清了稀疏注意力（sparse attention）的一个常见误解：它解决的是内存带宽问题，而不是内存容量问题。
核心论点
- 稀疏注意力并不能缓解显存容量瓶颈，它只是显著帮助带宽
- HiCache 的设计思路是把 KV cache 从 HBM 卸载到容量更大但带宽更低的下层存储，计算时只加载最相关的 token
- 但稀疏注意力计算时仍需选择 token，意味着所有上下文 token 都不能丢弃，某些时刻仍要全部载入 HBM
- 这正是 HiSparse 的价值：套用典型缓存规则，只把最相关的部分载入 HBM
对做长上下文推理服务的人来说，这是理解 KV cache 分层策略边界的å¿要材料。
「Infra」频道最新
- 16GB AMD 显卡跑 48GB 需求的 Drama 3：Red Curtain 魔改方案实测 — fechyyy · 2026-10-18
- Agent 用户周末狂跑 DeepSeek V4.1 Flash,DeepInfra 降价 51% — gharik · 2026-10-18
- a16z 不投 neocloud 内幕:借债囤 GPU 对标 2000 年带宽泡沫 — markjeffrey · 2026-10-18
- SemiAnalysis:vLLM 分离式推理达每美元 13 亿 tokens,较 B300 聚合部署提升 4 倍 — woosuk_k · 2026-10-18
- 16GB 显卡跑不动现代模型，Reddit 用户吐槽本地 AI 门槛飙升 — 2MuchNonsenseHere · 2026-10-18
- Meta 工程师发布 448G 机架内互连路线图:PAM6 成候选,有源铜缆延长传输距离 — StewartalsopIII · 2026-10-18