WEKA 开源 kvlab：用真实 Agent 流量重放测 KV 缓存卸载收益
AccBalanced · x · 2026-11-16
WEKA 发布开源工具 kvlab，用于捕获真实 agentic 推理流量并重放到推理端点，测量当 Agent 携带的上下文超出 GPU 显存时会发生什么。指南覆盖：
- 为什么需要：Agent 是完全不同的推理负载，上下文丢失代价高，GPU 时间预算需重新理解
- 方法论：提供从 Helm/CLI 快速上手、用自己的流量跑基准、到可信基准方法论（真实度分级、容量法、固定池模式）与结果解读（缓存记账、3D 视图）
- 实测结果：包括 Nebius B300 与 GLM-5.3 容量测试，显示 KV offload 在长上下文 24/7 Agent 集群中可将输出吞吐从 GPU HBM-only 的 94 out/s 提升到 HBM+DRAM offload 的 729 out/s、HBM+WEKA AMG 的 848 out/s
- 还提供自测工具，判断自己的流量能否从 KV 卸载中获益
所属事件:WEKA 开源 kvlab：用真实 Agent 流量重放测 KV 缓存卸载收益(2 条相关)→
「编程与Agent」频道最新
- AI 时代编程语言将分三类:自然语言、高性能代码与中间态规范 — dbreunig · 2026-11-16
- 把编辑部修改意见变成 AI 检查项,四大模型摘要得分提升 25+ 分 — danshipper · 2026-11-16
- levelsio 用 SSH + Claude Code 管理全部公司和睡眠健康数据 — alvelda · 2026-11-16
- 开发者开源 ClipKaboom MCP server：5500 条梗片段接入 Claude Code 和 Cursor — Mediocre-Number-5498 · 2026-11-16
- 开发者晒"工厂":花40美元额度自主跑出可用App — threepointone · 2026-11-16
- 20年AI老兵整理19个开源Agent仓库,全栈零成本 — MaryamMiradi · 2026-11-16