Prompt caching 让大小模型路由失效:小模型缓存未命中反而更贵

Lance_Saul_85 · reddit · 2026-10-14

作者团队曾用路由器把简单请求分给小模型、难请求分给大模型,长期降低混合成本。但大模型配好 prompt caching 后局面反转:18k token 的系统前缀缓存命中后输入价格只要十分之一,大模型单请求约 1.1 美分;小模型只接约 1/3 流量且突发到达、缓存几乎总过期,全价付前缀,单请求约 2 美分,反而更贵。小模型还拖累大模型缓存命中率。结论:短回答请求大模型+缓存更划算,小模型只在长回答(输出占比高)时仍有优势。作者考虑改为按预期输出长度路由。