缓存 TTL 困境：建议引入保留窗口付费锁
EmetInteractive · reddit · 2026-08-30
作者讨论了当前 API 提示词缓存（Prompt Caching）在用户离开后过期导致的重复计费问题。
- 现状痛点：开发者常编写 Keep-alive 脚本来维持缓存活性，但若用户离开几分钟（如喝咖啡）后返回，发送一行简短提示会导致整个上下文以全价重新摄入，造成成本飙升。
- 解决方案：作者建议引入「保留窗口」（Retention Window）机制，允许用户像固定缓存 Key 一样设置 TTL，并支付一次性写入溢价（如短期 1.25 倍，长期 2 倍），后续读取成本大幅降低。
- 生态现状：Anthropic 早已支持 5 分钟/小时的机制，OpenAI 最近添加了 TTL 选项，DeepInfra 等提供商也有类似功能，但许多封装层硬编码了 5 分钟限制且未暴露配置选项。
「Infra」频道最新
- 开源推理引擎 Magnitude 让本地模型比 Ollama 快 2 倍以上 — nickbaumann_ · 2026-10-15
- 传 Nvidia 本周宣布数百亿美元欧洲 AI 投资 — georgemillo · 2026-10-15
- Cloudflare 一夜 $10,811 账单：退款靠运气，刹车得自己装 — sujingshen · 2026-10-15
- 阿姆斯特丹大学新方法:Transformer 免再训练变身弹性模型 — VISLab-Amsterdam · 2026-10-15
- vLLM MTP3 验证:AIME25 提至 0.9667,prefill kernel 延迟最高降 84% — vllm_project · 2026-10-15
- 26ms 决策模型 s1-llm-auto-router 开源，为请求自动选 LLM — airesearch12 · 2026-10-15