Liquid Inference 路由算法缓存命中率超 90%，DeepSeek/GLM 供应商表现最佳

AccBalanced · x · 2026-11-13

Brett Harrison 介绍其 Liquid Inference 推理路由算法的最新优化：以缓存命中率（cache hit-rate）为核心目标进行路由选择，跨模型平均命中率已超过 90%，其中在 DeepSeek 和 GLM 供应商上经常能实现更高命中率。

附图展示了 OpenRouter 风格的模型列表：多个 DeepSeek V4.1 Flash 1017 供应商的缓存命中率达 97%-100%，GLM 5.3 Flash 达 87%-96%，GPT-OSS 120B 达 88%。高命中率意味着更低的缓存读取价格和更快响应，对大量重复上下文的 agent 工作流有直接成本收益。