开发者晒出惊人缓存命中率：推理成本直接砍到脚踝
sujingshen · x · 2026-10-31
用户 sujingshen 分享了一张 LLM 请求的缓存命中率截图，命中率极高，调侃「还要啥自行车」。高缓存命中意味着 prompt caching 生效后，大部分输入 token 可按缓存价格（通常为原价 10% 左右）计费，长上下文、重复系统提示词的场景成本可大幅下降。
「Infra」频道最新
- 推理优化内卷加剧:从业者要的已是最快最便宜的够用模型 — bendee983 · 2026-10-31
- NVIDIA 发布 Nemotron 3.5 Bolt E4B：4GB 端侧模型，token 输出省 80% — heatOverflower · 2026-10-31
- RTX 6000 Pro 工作站卡现价 13999 美元，较原价直降约 3000 — HankYeomans · 2026-10-31
- 马斯克畅想月球电磁弹射建算力：冲向 Petawatt 时代 — XFreeze · 2026-10-31
- 美国能源部首批商用微型核反应堆安全审查通过,Radiant 获准满功率测试 — McDonaghMatthew · 2026-10-31
- 实测：推理引擎的有损加速默认项，让 Q8 模型掉到 Q2 水平 — jesdga95 · 2026-10-31