2026-09-14
LoopDot检验语义缓存三条免训练路径：弃权与CRC门控无增量价值；接回被丢弃的相似度并改用ACI，SearchQueries命中率从0.11%提到9.23%。
语义缓存要在「复用旧答案」和「重新生成」之间做决定。LoopDot前三篇已经把这件事拆开：相似度落在0.80到0.97之间的灰色地带交给一个轻量验证器；领域内微调能补上验证器的判别力；Conformal Risk Control（CRC，用校准集给复用决策一个有限样本风险上限）能给这个决策贴上形式化保证，但这个保证对刻意构造的对抗查询很脆。
前三篇默认两件事。灰色地带最终只看验证器一个分数，把带请求进来的相似度扔掉；阈值一旦校准，部署期间就当它还有效。这篇把这两个默认设计本身拿出来压。
三条「不重新训练验证器」的路径，外加一条排查缓存查询输入时摸到的预训练目标线索。
候选池非平稳性露出来之后，阈值本身改成Adaptive Conformal Inference（ACI，按每一步真实对错在线拧阈值）：这次接受且错了就收紧，否则放松，步长正比于错误率偏离目标α的程度。
弃权是精确的负面结果。LmArena微调验证器上，弃权10%灰色地带，端到端错误率从6.32pp降到6.23pp，随机弃权也能到6.29pp，真实信号只多消0.06pp。5个数据集、7档错误代价比、2档judge成本上，真实信号的最优弃权率绝大多数就是0。judge成本达到miss的0.7倍时，一次都不弃权。
CRC门控同样没有增量。SearchQueries上naive CRC风险0.063，超标25%；周期性重校准收到0.046，压在α=0.05下面。Quora上那次「CRC全线超标」，换独立判官重打标后错误率梯度从+0.16缩到+0.01，是QQP标注批次效应，不是真实时间漂移。密度比没有长尾，最大值大约3，而且错例的密度比比对例还低，按它拦会优先拦掉正确复用。
接回相似度才有条件地值钱。匹配错误率处的命中率变化：
| 设置 | 命中率变化 |
| LmArena现成验证器 | −1.05pp |
| SearchQueries现成验证器 | +1.69pp |
| SearchQueries微调验证器 | +0.17pp |
往LmArena验证器分数里加高斯噪声，AUC从0.7385降到0.5734，联合判定增益从−1.05pp平滑翻到+2.40pp。验证器越弱，这个免费信号越有用。
推到第二候选时，LmArena可及样本的正例率随缓存增长从0%爬到83%。任何「拟合一次静态阈值再部署」的协议在这种非平稳性下都测不准。ACI不依赖这个假设：
| 条件 | 静态命中/错误 | ACI命中/错误 |
| LmArena验证器分数 | 2.53% / 0.28% | 21.35% / 3.48% |
| SearchQueries验证器分数 | 0.11% / 0.05% | 9.23% / 4.95% |
SearchQueries命中率大约80倍，错误率贴住5%目标。把联合分数和ACI叠在一起，LmArena命中率再从21%到39%。把ACI接回CRC：α=0.05时整体风险从0.0623收到0.0500。
预训练目标是另一条硬杠杆。entityswap（把查询里的实体换成另一个，答案不能跟着走）在任何数据侧干预下都卡在46.2%。零训练换成NLI底座，误判直接掉到5.1%。接上原来的微调配方后，三个数据集对抗误接受从12.4%、16.3%、58.5%收到5.9%、3.6%、15.7%。微调会在四分之一个epoch内把entityswap从5.1%抬回25.6%，早停救不了；后处理融合只在错误代价至少是miss的20倍时才同时划算。
做LLM语义缓存的人，这条线给出的是一套「别往哪走、该往哪走」的边界，不是又一个新模块。逐请求的不确定性包装（三元API、置信度门控的judge升级）在已经调好的单阈值面前没有增量。真正便宜的改动是：验证器弱的时候把相似度接回去；候选池会随缓存变稠而漂的时候，别再冻结阈值，换成在线拧。选验证器底座时，任务是「答案能不能迁移」就优先看NLI这类蕴含目标，不要默认用检索排序模型。
这些都是渐进改进加几条精确的负面结果。论文自己的读法也是：不需要从零自研验证器，选对冻结起点，沿用已经验证过的微调配方。
不确定性结论只覆盖「分数邻近性」这一类信号，没测集成分歧和保形不符合度。NLI对比同时换了预训练目标和tokenizer、架构，不能纯粹归因到目标本身。ACI的有限样本界要求阈值有界，实际实现没做投影截断，只是经验上没撞墙。窗口尺度诊断量ρ能回答「理论上界还有没有约束力」，不能预测「经验上ACI一定更好」：真实客服流comcastcares上，ACI没有稳定打赢静态基线。六节实验里只有这一节用了真实生产漂移数据，其余全是三条benchmark的trace回放。联合判定、ACI、成本比、对抗鲁棒性还没焊成一个统一的部署决策框架。