138 组问题实测:语义缓存余弦阈值不可靠,加廉价模型复核零出错
Narrow_Side_7778 · reddit · 2026-11-19
发帖人用 138 组真实问题(69 组同义改写应命中缓存、69 组形近义远必须不命中,如"送 Bobo 吗"vs"送 Ouaga 吗")实测纯 embedding 语义缓存:
- 没有安全阈值:相似度 0.97 几乎永不命中(0% 复用,省不了钱);0.90 时 3% 错误回答;0.85 时错误率飙到 19%。embedding 衡量的是主题相似,不是同义。
- 可行方案:embedding 只做粗筛找候选,再用廉价模型(gpt-4o-mini)判断"这两个问题是否同义"再复用——同样数据集上 0 错误,同义改写复用率仍达 72.5%;整个测试集在 CI 中重放,回归即失败。
- 被忽略的账:验证模型不免费,诚实指标应是净节省(省下的钱减去 judge 与 embedding 成本),而非命中率。
作者把精确缓存+语义缓存、重试、成本记录打包成开源库 caelum(pip install caelum-ai),并附完整数据博客。
「编程与Agent」频道最新
- 3D 动捕动画想用 ComfyUI 做动作修复,可行吗 — _Tito5_ · 2026-11-19
- AI 购物代理崛起,帮电商店铺做 AI-ready 改造成新生意 — TawohAwa · 2026-11-19
- Hermes 适配器实战演示:35 次工具调用解出基础模型搞砸的 SWE-Bench Pro 任务 — yb2698 · 2026-11-19
- NousResearch 发布 Qwen3.8-27B Hermes 适配器:SWE-Bench Pro 29.4%→43.1%,token 省 3.5 倍 — yb2698 · 2026-11-19
- 一条 EBS gp3 命令让 Weaviate 千万向量索引查询性能提升 26 倍 — philipvollet · 2026-11-19
- TeDDy:反 one-shot 的本地编码 harness,用 TDD 小步交付防 bug 滚雪球 — No_Article_5669 · 2026-11-19