如何衡量语义缓存正确性
Cute_Pause_449 · reddit · 2026-07-12
作者分享了一个生产环境里的语义缓存排障案例：表面上缓存命中率和延迟都很好，但实际返回了大量“语义上错误”的结果，因为不同请求共享了太多固定模板文本。 文章指出，问题出在指标设计上：系统只看“是否命中”，没有验证“命中的结果是否真的适用”。解决办法也不是单纯提高相似度阈值，而是分层处理： - 先把固定模板文本从 embedding 中剥离或隔离； - 再加一层应用级校验，结合 tenant、任务类型、模型家族、语言环境、工具可用性等条件判断是否可复用； - 用抽样复核把“相似命中”与“正确命中”区分开。 作者最后提问：团队在生产中通常如何衡量 semantic cache 的正确性，是否会做抽样影子请求或任务专用验证器。