LLM 缓存网关架构解析：缓存命中为何必须视为可计费事件？
iwasinnam2 · reddit · 2026-08-01
作者分享了本周上线的 LLM 缓存代理网关的架构设计。系统的核心约束是：缓存命中本身就是一个可计费事件，因此缓存层不能只是尽力而为，必须像原始请求路径一样可靠地输出使用记录。
关键架构细节：
- 精确匹配与计费： 采用精确匹配而非语义缓存，防止“近似回答”导致退款纠纷。Stripe 计费表作为接收器，通过请求哈希生成幂等键，防止重试导致重复计费。
- Rust 与 Python 双栈： 在 Python 和 Rust 中独立计算缓存键，通过一致性测试确保双方摘要相同，防止边缘节点静默丢失缓存。
- 流式响应处理： 流式响应在经过时被组装并存储，只有正常完成（出现 finishreason）的流才会被缓存，之后作为合成的 SSE 重放。
「编程与Agent」频道最新
- 编码智能体成本大比拼：Claude Code 花费约为开源方案 3.7 倍 — Teknium · 2026-08-01
- Grok Build 更新：支持永久删除会话与诊断优化 — XFreeze · 2026-08-01
- 开发者用 Codex 实现 GitHub 贡献破 3000，月耗百亿 token — DeryaTR_ · 2026-08-01
- DeepSeek-V4-Flash 登顶前端代码性价比,总榜排第七 — arena · 2026-08-01
- claude-pulse: 实时监控 Claude Code 额度的状态栏工具 — tom_doerr · 2026-08-01
- 滑铁卢大学 R2L 实验室将招募 PhD，深耕智能体与推理研究 — hllo_wrld · 2026-08-01