OpenAI 改进 GPT-6 提示缓存:命中率更高、新增诊断与显式断点
OpenAI News · rss · 2026-09-23
OpenAI 官方宣布 GPT-6 的 prompt caching 升级:更高的缓存命中率、新的诊断工具、显式缓存断点(breakpoints)以及更多控制选项,帮助开发者降低延迟和成本。文章介绍了如何利用这些新特性优化长上下文与重复前缀场景的调用开销。
「Infra」频道最新
- Signal65 实测:AMD MI355X 大上下文下性能达 B200 的 2.25 倍 — ryanshrout · 2026-09-23
- 单码库跨 5 代芯片,2.3B MoE 混合 Mamba 用不到 1% 算力逼近 Llama-3.2-3B — tri_dao · 2026-09-23
- 字节 Seed 提出校准裁剪法,攻克全流程 FP8 强化学习训练不稳 — ByteDance-Seed · 2026-09-23
- DigitalOcean 推云端托管 Agent:闲置即暂停,断电续跑会话 — _AustinCalvert_ · 2026-09-23
- ARK 分析师:AI 是史上最高效的「能量-经济」转换器,效率约为人类 10 倍 — DMaguireARK · 2026-09-23
- 内存为何再也不便宜?David Bau:KV cache 抬高每比特 RAM 价值 — davidbau · 2026-09-23