Agent 时代 KV cache 挤爆 HBM,容量不足拖垮有效带宽
AccBalanced · x · 2026-09-06
转发讨论反驳了一个常见观点：仅看 HBM 引脚带宽不足以判断推理性能。
- 只有当 KV cache 始终装得进 HBM 时，带宽论才成立；而在 agentic 时代（长上下文、多轮任务），KV cache 经常超出 HBM 容量。
- 一旦超出，token 会下溢到 DRAM/NAND 等更慢的存储层，等待时间显著增加。
- 在分层内存系统中，容量与带宽不可分割：HBM 是快车道，容量决定它会不会堵塞。削减 HBM 容量省的钱，最终会以有效带宽下降的形式还回去。
「Infra」频道最新
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23
- 优化 PCIe 小消息 all-reduce 内核，DeepSeek-V4.1 推理解码提速 12% — AlpinDale · 2026-10-23
- 海上油气平台拟改建为 AI 数据中心，烧闲置天然气供算力 — clemnt · 2026-10-23
- 同为原生 UI:Swift 版 80MB 仅限 Mac,Zig 版 10MB 三端通吃 — jedisct1 · 2026-10-23
- 开源本地版 NotebookLM:SurfSense 全文档问答与文档编辑 Agent — FurtiveMirth · 2026-10-23