GPT-6 强化 prompt caching：命中率提升、诊断面板，缓存省最多 90%
rohanpaul_ai · x · 2026-09-23
OpenAI 正在改进 GPT-6 的 prompt caching，使其更可靠、更可控，新增更高命中率、诊断工具、断点、预热（prewarming）以及保留缓存的推理行为变更。
背景与意义：
- 长时间运行的 agent 会在多次 API 调用中重复发送指令、工具定义和早期上下文，缓存可避免对这些前缀重复计算；
- 复用最多可将缓存输入 token 成本降低 90%；
- 新的 dashboard 会展示缓存命中率及缓存/非缓存 token 用量。
作者提醒：高命中率仍然是应用设计问题——GPT-6 的缓存改进并不自动带来好经济账，开发者仍需把 agent 结构设计得让稳定指令和工具定义可被复用。
所属事件:OpenAI 升级 GPT-6 提示词缓存并推出诊断仪表盘(6 条相关)→
「编程与Agent」频道最新
- 两人小公司用 46 个 AI Agent 运营：审批门禁、哈希锁文件与翻车复盘 — dkovl · 2026-11-12
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- Manhattan 字体 v0.0.1：每个字母都是一个 Python 函数 — allanyu_ · 2026-11-12
- 用 Backplane「提示词造出」任意扩展卡,网友呼吁扩展口回归标配 — _Stocko_ · 2026-11-12
- Agent 会话跑了 51 分钟烧 24.8 万 token,网友直呼还在干活 — _Stocko_ · 2026-11-12
- 可视化 AI Agent 团队协作：每个 Agent 一间「房间」，共享知识库 — LiorAloni11 · 2026-11-12