开发者实测:GPT-Live 委托调用跨会话几乎不命中缓存,1184 个会话仅 1 次
chasef07 · x · 2026-11-21
开发者 chasef07 向 OpenAI 反馈 GPT-Live + Responses 委托的 prompt 缓存问题:后端模型(gpt-6-luna)每次调用都带同样的约 12.5K token 指令,单次调用内缓存命中约 97%,但跨调用几乎不复用——上周 1184 个会话只有 1 个复用了缓存。
结果是完全相同的提示词每次都要重新付费写入缓存。他追问这是委托缓存按会话作用域的刻意设计还是 bug,并问能否设置 promptcachekey 或缓存 TTL;OpenAI 开发者论坛上也有人报告了同样问题(GPT-Live 每个新会话的第一次后端委托 cachedtokens 恒为 0,会话内后续委托则能超过 95% 命中)。