OpenAI 工程师披露提示词缓存六项优化,大降延迟成本

pvncher · x · 2026-09-29

OpenAI 团队工程师分享近期围绕 prompt caching(提示词缓存) 落地的一系列改进:

此前团队还推动了 GPT-5.6 的跨轮次推理上下文保留(cross-turn reasoning preservation):推理内容在多轮间保留后,KV cache 命中率提升,直接降低延迟与成本,长任务中减少重复推理,复杂环境下依赖先前隐藏思考的后续任务表现更强。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →