开源语义缓存 HotKV 实测:Claude 调用省 70%,答案质量只降约 6 个点
HotKV-Ltd · reddit · 2026-10-19
开发者在 Reddit 发布 HotKV——一个 C++20 从零编写的 Redis 兼容内存存储，内置 LLM 语义缓存，并在 Claude 上公开了基准测试。
测试设置：用 Banking77 的 3000 条客服问题（模拟真实流量重复率），对比直连 Claude 与前置 HotKV 两路，Anthropic 官方 prompt caching 在两组中都开启，即收益是在其之上的增量。命中逻辑：先精确匹配（归一化哈希），再语义匹配（embedding 余弦，阈值 0.81），双 miss 才调模型。
结果：所有模型节省约 70% 的调用、token 和费用（39% 精确重复 + 31% 改述），如 Sonnet 5.5 成本从 $5.51 降到 $1.66；中位延迟从 1.4–2.9 秒降到约 127ms，精确命中仅 0.05ms。
关键风险：语义命中≠答案正确。作者用独立 Claude 模型评判每个语义命中（不让模型自评）。在 0.81 阈值下，缓存答案的契合度比新答案低 5.8–10.7 个百分点；阈值提到 0.88 后差距在噪声内消失，同时保留约 64% 节省。还构造了 119 对易混淆问题（存款 vs 取款等），0.81 下 62% 会被错误地由缓存应答，0.90 仍有 25%。
作者注明这是单次运行的初步信号而非定论，数据公开欢迎质疑。
「编程与Agent」频道最新
- MoE 模型代理模式实测：12 项检查全部通过 — draginol · 2026-10-19
- 前游戏创业者用 AI 做副业游戏:让玩家 vibe code 自己的角色 — trq212 · 2026-10-19
- 实测感慨：高效调度 8 个子 Agent 比想象中难得多 — pvncher · 2026-10-19
- rea-agents v6.7 发布:236 个 PR 合入,稳定性大幅提升 — moeinteractive · 2026-10-19
- 从 Amazon 到 Cloudflare：整个 Web 正在筑墙拦截 AI 购物 Agent — alex_verem · 2026-10-19
- 工程师经验:模型好到没人再 review,恰恰是最容易被坑的时刻 — weswinder · 2026-10-19