Liquid Inference 日处理百亿 token,88.7% 输入命中缓存

AccBalanced · x · 2026-10-28

Brett Harrison 透露 Liquid Inference 推理平台已日均服务 100 亿 token,周增速 200%,流量以 agent 和长对话为主。在 47 万次计费任务中,88.7% 的输入 token 是缓存读取(cache reads)。

核心做法:多轮与 agentic 场景下最大成本与延迟收益来自前缀/KV 缓存复用,但朴素的负载均衡或纯价格竞价会把同一会话打散到不同供应商/副本,导致每轮都要完整 prefill,浪费缓存收益。Liquid Inference 的匹配算法按「包含缓存命中率的预期实际费用」而非标价对报价排序,优先把会话路由到仍保有该前缀缓存的供应商,从而以远低于正常输入价的缓存读费率计费。