缓存 TTL 困境：建议引入保留窗口付费锁
EmetInteractive · reddit · 2026-08-30
作者讨论了当前 API 提示词缓存（Prompt Caching）在用户离开后过期导致的重复计费问题。
- 现状痛点：开发者常编写 Keep-alive 脚本来维持缓存活性，但若用户离开几分钟（如喝咖啡）后返回，发送一行简短提示会导致整个上下文以全价重新摄入，造成成本飙升。
- 解决方案：作者建议引入「保留窗口」（Retention Window）机制，允许用户像固定缓存 Key 一样设置 TTL，并支付一次性写入溢价（如短期 1.25 倍，长期 2 倍），后续读取成本大幅降低。
- 生态现状：Anthropic 早已支持 5 分钟/小时的机制，OpenAI 最近添加了 TTL 选项，DeepInfra 等提供商也有类似功能，但许多封装层硬编码了 5 分钟限制且未暴露配置选项。
「Infra」频道最新
- Applied Compute 发布 AC2 私测版：打造模型工厂基础设施 — ypatil125 · 2026-08-30
- 背景移除模型因 lazy load 导致重复加载 — Acceptable-Work8202 · 2026-08-30
- Gemma 4 26B MLX 优化竞赛：48 小时性能提升接近 100% — gajesh · 2026-08-30
- 双 5090 跑通 Qwen 100 万上下文，实测数据披露 — Littlepharaoh · 2026-08-30
- 中国人形机器人占全球出货 86%，英伟达复制 CUDA 策略入局 — rohanpaul_ai · 2026-08-30
- Bittensor 子网推理解析成本仅竞品 1/6 — markjeffrey · 2026-08-30