实测 vLLM 广告 KV cache 注水,压力测试工具揭示真实保留率
t4a8945 · reddit · 2026-09-06
作者在 2x DGX Spark 上用 vLLM 部署 DeepSeek v4 Flash 时怀疑 cache 管理有问题，于是开发了开源工具 cache-pressure 来验证 KV cache 的真实表现。
工具原理（三步协议）：
- 先跑 probe 校准 cache 命中/未命中的判定标准
- 填充 X 个各 Y token 的稳定上下文，把 cache 填满
- 按逆序验证 cache 命中，直到首次 miss，得到真实保留值
A/B 对比结果：修复前镜像（retention 4096）在约 202 万 token 容量下只保留 27/80 个上下文（约 105 万 token，占容量 51.98%）；打上 dedupe + boundfix 补丁后（retention 0）保留 77/80 个上下文，保留 token 达 300 万，占容量 146.56%——即宣称的 2M cache 实际可保留 3M token。结论是引擎广告的 cache 数字不可信，此工具可拿到 ground truth。
用法：clone 仓库后 python3 bench/cachepressure.py --base-url http://server:8000/v1 --kv-size <advertisedcache>。已测试 vLLM、ninfer、llama.cpp、SGLang。作者观察：vLLM 表现好，其他引擎需调配置。前提假设是「最近的上下文应尽量保留」。
代码全部开源（工具 + prefix cache 修复补丁），作者注明帖子为人工撰写、代码为 AI 辅助生成并经其审核。
「编程与Agent」频道最新
- Reddit 开发者求问：如何防止 Agent 提示词越改越退化 — SleepFlimsy6963 · 2026-10-23
- 接付费商单该用什么模型?Reddit 创作者晒 Claude Code+ComfyUI 工作流 — newaccount47 · 2026-10-23
- 社科学者批 AI 圈：把 Agent 开发当会自动变好的黑箱 — RexDouglass · 2026-10-23
- 网友 vibe coding 出 Tesla Roadster 小游戏，赶在 GTA VI 之前 — Jasonio · 2026-10-23
- Codex CLI 0.164.0 报 account/read 错误，重启 daemon 可解 — bytebot · 2026-10-23
- 同为原生 UI:Swift 版 80MB 仅限 Mac,Zig 版 10MB 三端通吃 — jedisct1 · 2026-10-23