cache-proxy 代理发布:语义缓存降 LLM 成本,x402 按量付费

modelcontextprotocol · reddit · 2026-09-29

一款名为 cache-proxy 的 LLM 缓存代理上线,提供精确缓存与语义缓存两种模式,可重复命中相同或相似请求以降低推理成本。

计费采用 x402 协议、以 USDC 在 Base 链上按用量结算,并提供免费的健康检查接口。对高频重复查询的 LLM 应用是值得关注的省钱方案。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →