换种问法就重复付费？MorrowCache 用语义判重省掉重复调用

TurnoverSea9119 · reddit · 2026-09-26

作者开源了 MorrowCache：一个本地 OpenAI 兼容代理，把 baseURL 指向它即可。请求到达模型前由一个「裁判」模型判断与缓存中已有答案是否同一意图：命中则直接复用回复，省掉上游调用；未命中才真正调模型并入库；裁判挂掉时 fail-open 继续调模型，不会卡死。裁判可选云端 Jev 或本地 Kev / Laya / System One，不是靠 cosine 相似度而是真实意图判断。实测改写问法命中：2817ms miss → 423ms hit，约 6.7 倍提速，token 费用也省了。