OpenAI API 推出 12 小时 Prompt 缓存，重用上下文可大幅省钱
OpenAIDevs · x · 2026-10-21
OpenAI 开发者官方账号宣布 Prompt Caching 新增 12 小时缓存选项,此前默认缓存时间为 30 分钟。开发者可在同一请求中混用两种时长:12 小时用于共享的系统指令,30 分钟用于较新的对话内容。
官方说明:如果需要在一天内反复使用相同上下文,重复复用带来的节省可能显著超过 12 小时缓存的额外成本。文档已在 developers.openai.com 的 Prompt caching 页面上线,Markdown 版本可在页面 URL 后加 .md 获取。
所属事件:OpenAI API 新增 12 小时 Prompt 缓存(2 条相关)→
「Infra」频道最新
- 路透：字节阿里腾讯下单超300万块英伟达RTX PRO 5500，总价超350亿美元 — SumitGup · 2026-10-21
- TorchTPU 实测演示：vLLM 与 SGLang 统一后端跑 TPU 服务 — Rob_Mulla · 2026-10-21
- Google 联合 Red Hat 发布 llm-d 1.0，K8s 原生分布式推理栈 — rseroter · 2026-10-21
- acs infra 上线免费 base model API，开放 Llama 3.1 8B/405B 供研究者使用 — amplifiedamp · 2026-10-21
- 开发者用 incus 容器给每个 Agent 独立工作区，解决 Mac 负载瓶颈 — kevinkern · 2026-10-21
- 黄仁勋指引明年营收增70%仍供不应求,一人唱衰韩云IPO难改算力荒 — firstadopter · 2026-10-21