推理服务商的缓存窗口，可能不能再一律设成 5 分钟
lucasmeijer · x · 2026-07-26
讨论的核心是：推理服务商也许可以用 session、最后一条消息 等信号，预测某段对话在接下来几分钟内是否会命中缓存，从而更聪明地决定缓存策略。
回复里进一步指出，工具调用的超时设置 也应该纳入考虑。对 agent 型工作流来说，统一设成“永远 5 分钟”可能并不合适，因为不同任务的等待时间和复用窗口差别很大。
所属事件:推理服务缓存策略或需纳入工具调用超时(2 条相关)→
「编程与Agent」频道最新
- 一个免 API 的 ChatGPT 网页多智能体工具可生成整套项目 — soufiane-io · 2026-07-27
- 开源图工程管线展示 Agent 如何直接遍历真实数据 — iamrobotbear · 2026-07-27
- 开源 SDLC 框架称在局部 bug 上比 Claude Code 便宜 75% — NeighborhoodOwn8510 · 2026-07-27
- Grok 4.5 性价比很高，更适合当编程 worker — haider1 · 2026-07-27
- Orita 把 AI agents 预约流程封装成一个 book() 调用 — Feitino_B · 2026-07-26
- JoyAI Image Edit Plus 进入 ComfyUI 可做对比测试 — NerdyRodent · 2026-07-26