OpenAI 升级 GPT-6 提示缓存:命中读取 1 折,重复材料可省 78.5%
新智元 · wechat · 2026-09-24
OpenAI 于 9 月 22 日公布 GPT-6 提示缓存(Prompt Caching)升级,提高默认命中率并新增监测、诊断与控制能力。
- 计费规则:对 GPT-5.6 及之后模型,缓存写入为普通输入的 1.25 倍,命中读取仅 0.1 倍;同一段材料连续用 10 次、后续 9 次全命中,重复输入部分理论可省 78.5%。缓存要求共享前缀精确匹配(≥1024 token),保留至少 30 分钟并自动续期。
- 省钱关键:固定内容放前、变化内容追加在后;保持工具定义与顺序稳定;调整推理强度用增量更新而非改全局参数,否则前缀失效。
- 新能力:缓存看板拆解命中率与输入构成;诊断工具可定位失效原因(如一个工具改名导致 5629 token 无法复用);「预热」把系统指令提前写入缓存以降低首字延迟。
- 官方数据:Manus 命中率从约 85% 升至 90% 以上,GitHub Copilot 重复处理 token 占比下降超 50%。
所属事件:OpenAI 升级 GPT-6 提示词缓存并推出诊断仪表盘(6 条相关)→
「Infra」频道最新
- KubeCon 主题演讲:计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ:KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12
- dhh 发布 Omarchy 4.6:Tailscale 内共享本地 AI 模型推理 — alexcovo_eth · 2026-11-12
- 施密特基金会被曝资助法国反数据中心 NGO,行业利益现反差 — StephanSturges · 2026-11-12
- 开源模型千美元级自动攻破 6 版 Firefox,Epoch 揭示补丁窗口攻击扩散 — Epoch AI · 2026-11-12