实测打脸：语义缓存用 cross encoder 反而不如直接调高 cosine 阈值
Reasonable_Royal_621 · reddit · 2026-10-19
作者分享了 CacheVerifier 项目的反直觉实证结果：对边界缓存匹配（cosine 0.80–0.97）用 cross encoder 复核是否可复用缓存答案，本应优于裸 cosine 阈值，但 3 个 benchmark 中 2 个表现更差。
- SearchQueries（8.6 万边界对）：取各评分 top 5%，cosine 排序复用正确率 73.2%，cross encoder 仅 67.5%；Quora 数据集同样如此。只有 LmArena（预置模型本来就不错）上 cross encoder 获胜。
- 微调救场：在各数据集上微调后的 verifier 在全部 18 个测试点上击败普通阈值。
- 踩坑复盘：作者曾长期结论搞反，原因是 eval 让两侧在不同请求上评分。
结论：上线 reranker 前，先和「更严格的 cosine 阈值」做对比。仓库：github.com/imxinchengyou/CacheVerifier
「Infra」频道最新
- Sipeed 推 MaixStation 挑战 DGX Spark：128GB 内存 40W，价格差三倍 — AIFlow_ML · 2026-10-19
- ReaDy 用混合线性注意力循环状态做投机草稿，提升生成速度与接受率 — Bohan Sun · 2026-10-19
- TRELLIS.2 图生 3D 在 AMD RX 9060 XT 上跑通:修复、工作流与 MIT 替代组件 — ova-mojica · 2026-10-19
- CI 迎战 AI Agent 时代：Celesto 宣称每分钟成本比 GitHub Runner 低 96% — aniketmaurya · 2026-10-19
- 华为发布 Atlas 960E 超节点：NPO 光互联连接 4096 颗 NPU — bookwormengr · 2026-10-19
- 机器人「大脑」推理成本三个月暴跌 84%，硬件成唯一大头 — victor_explore · 2026-10-19