9 万条真实客服推文实测 4 种语义缓存，微调验证器多拿 5-13% 命中
Reasonable_Royal_621 · reddit · 2026-11-04
作者在 9 万条真实客服推文（AmazonHelp、Comcast）上按时间顺序重放，比较了 Redis 静态阈值、GPTCache、vCache 和自研 CacheVerifier 四种语义缓存方案——相同 embedding、相同缓存，只有命中判定逻辑不同，正误由 LLM 判定并人工抽查。
- GPTCache 默认阈值（约 cosine 0.6）命中约 80% 请求，但大部分对新客户是错误回复；Redis 默认（0.9）安全，错误约 1%，命中仅 4-5%。
- 微调后的 CacheVerifier 在相同错误率下比最佳静态阈值多命中 5-13%，且在流量分布变化时最贴近 2% 错误率目标。
- 由于客服回复依赖对话上下文，各方案命中天花板约在 5-9%。
完整报告与脚本已开源在 GitHub。
「Infra」频道最新
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- 实测发现同名 Claude 一天走 Bedrock 一天走 Anthropic 直连 — georgos_pappas · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04