OpenAI 工程师披露提示词缓存六项优化,大降延迟成本
pvncher · x · 2026-09-29
OpenAI 团队工程师分享近期围绕 prompt caching(提示词缓存) 落地的一系列改进:
- 支持在推理轨迹中途调整 reasoning effort
- 更完善的文档
- 移除 promptcachekey 参数
- 新增提示词缓存诊断工具
- 缓存预热(prewarming)
- 缓存监控仪表盘
此前团队还推动了 GPT-5.6 的跨轮次推理上下文保留(cross-turn reasoning preservation):推理内容在多轮间保留后,KV cache 命中率提升,直接降低延迟与成本,长任务中减少重复推理,复杂环境下依赖先前隐藏思考的后续任务表现更强。
「编程与Agent」频道最新
- Celesto 推 GitHub Actions 托管 runner,称比官方便宜 12 倍 — aniketmaurya · 2026-09-30
- Wasmer 发布 Pi:浏览器和 iPhone 上原生运行 AI agent — JosephJacks_ · 2026-09-30
- 斯坦福等推出 RecursiveMAS:多智能体共享潜空间思考,token 少用 75% — james_y_zou · 2026-09-30
- 给代码审查加上记忆:用 Hindsight 补上 LLM review 的上下文短板 — Ambitious_Menu1385 · 2026-09-30
- AWS 官方教程:Amazon Quick 提示词工程基础与 CRISPE 框架 — AWS ML Blog · 2026-09-30
- AWS 教程(下):按组件拆解 Quick 提示词模式与常见坑 — AWS ML Blog · 2026-09-30