开发者质疑 OpenAI prompt_cache_key 设计或致算力大量浪费
YouJiacheng · x · 2026-09-11
开发者 YouJiacheng 在与 Elie Bakouch、Thibault Sottiaux 等人的讨论中提出：OpenAI API 的 promptcachekey 设计（horrible）可能造成大量算力浪费，并指出 /fork 和 /side 端点使用广泛，暗示这些路径下 prompt 缓存命中率可能很低，等效浪费了大量推理算力。
「Infra」频道最新
- CXMT 激进扩产:至 2028 下半年新建四座 DRAM 晶圆厂 — zephyr_z9 · 2026-09-11
- OpenAI CFO:一年前买的算力如今可溢价 3-5 倍卖出 — rohanpaul_ai · 2026-09-11
- NVIDIA 与 Red Hat 联手 vLLM 设 bounty:33B 以下开源模型实战黑客松 — NVIDIAAI · 2026-09-11
- SF Compute 签下 2.45 亿美元 Blackwell B300 算力长约 — mattshumer_ · 2026-09-11
- 马斯克转发 SpaceX CFO 演讲纪要:垂直整合+轨道算力布局 — elonmusk · 2026-09-11
- 贝索斯：电力供应链成瓶颈，算力滞后迫使各实验室放慢研发 — beffjezos · 2026-09-11