WEKA 开源 kvlab：实测 Agent 推理 KV 缓存卸载收益

WEKA 发布开源工具 kvlab，可捕获真实 agentic 推理流量并重放到推理端点，测量 Agent 上下文超出 GPU 显存时的表现。配套演示对数千条长上下文轮次、持续至少 24 小时的 Agent 集群 KV cache 进行时间×空间维度的 3D 可视化观测，对比显示 GPU HBM 与 WEKA AMG 结合可达到 848 tokens/s 的输出吞吐，验证了 KV 缓存卸载方案的实际收益。

2026-11-16 ~ 2026-11-16 · 2 条相关