24 小时 3D 观测 Agent 集群 KV cache：HBM+WEKA AMG 吞吐 848 out/s
AccBalanced · x · 2026-11-16
延续上帖，作者晒出 kvlab 的 3D 可视化截图：对数千条长上下文轮次、至少 24 小时的 Agent 集群 KV cache 使用做时间×空间观测。对比数据显示 GPU HBM-only 94 out/s、HBM+DRAM offload 729 out/s、HBM+WEKA AMG 848 out/s，并按 TTFT 与输入 token 来源（WEKA/DRAM/HBM/prefill）分层展示。
所属事件:WEKA 开源 kvlab：实测 Agent 推理 KV 缓存卸载收益(2 条相关)→
「Infra」频道最新
- 开源工具 Cynapse 发布：为本地 LLM 做真实性与偏见体检 — _AustinCalvert_ · 2026-11-16
- WEKA 开源 kvlab：用真实 Agent 流量重放测 KV 缓存卸载收益 — AccBalanced · 2026-11-16
- 多条 LLM 推理吞吐基准工具盘点:Dynamo AIPerf 等 — AccBalanced · 2026-11-16
- KubeCon 热点：推理成为 Kubernetes 核心议题，五大组件全景拆解 — AccBalanced · 2026-11-16
- 黄仁勋受访谈英伟达CEO的「翻盘」之路 — SnoozeDoggyDog · 2026-11-16
- GPU 租金上涨多虚火？VC 烧钱与现货价或粉饰景气 — AccBalanced · 2026-11-16