实测打脸:调好阈值后 LLM 裁判升级机制零调用最省钱
Reasonable_Royal_621 · reddit · 2026-10-22
团队在 CacheVerifier 语义缓存项目里尝试经典方案:验证分数接近阈值的「不确定」缓存命中交给 LLM 裁判,其余自动决定。在 3 个公开 benchmark 上重放后结论反转:
- 与默认阈值比,升级机制看起来有点用
- 但一旦把单一阈值按「错误命中的代价 vs 漏掉的代价」调优后,大多数场景下最优升级率是 0%——如果裁判调用成本是缓存 miss 的 0.7 倍,任何数据集都不会触发升级
有趣发现:裁判拒绝了约 60% 被 benchmark 标为正常的命中,有时确实是对的。作者建议:加裁判之前先把阈值按成本调好;并坦承只测了分数距离,没测 ensemble。附仓库(5.20 节)。
「Infra」频道最新
- Flint int4 跑 Qwen3.6-35B:Mac mini 解码最高 122.6 tok/s,质量持平 — _rockt · 2026-10-22
- AI 从业者喊话欧盟：别焦虑模型，砸钱建 GPU 集群和电网才是正事 — DionysianAgent · 2026-10-22
- 10月21日 Railway 与 LiteLLM 遭攻击,AI 防御需进入代理化时代 — alvelda · 2026-10-22
- 小量化模型思考更长反而更慢？本地部署社区热议量化选择 — Banana-Negra · 2026-10-22
- 独立开发者自建全栈 AI 基础设施，吐槽 X 圈层壁垒 — ShimazuSystems · 2026-10-22
- NVIDIA GTC 柏林:Rev Lebaredian 称 Agent 化 AI 带来仿真技术阶跃 — RevLebaredian · 2026-10-22