语义缓存实测：重写劣质缓存不如直接丢弃

Reasonable_Royal_621 · reddit · 2026-08-21

作者测试了语义缓存中的“重写而非拒绝”策略（类似 TweakLLM），即用小模型修正不完美的缓存命中。实测结果显示，该方法在三个公开基准上的错误率高达 22%-61%，远高于直接重新生成的零错误成本。此外，重写调用耗时（2.7-6秒）甚至可能超过重新生成，且错误的缓存命中往往会产生幻觉或安全风险（如将无关回答硬套到敏感问题上）。