KV cache 读便宜是秘密:200 美元订阅等于 1.4 万美元 API 用量仍能赚钱

rachittshah · x · 2026-11-21

Gergely Orosz 科普帖:KV cache 读取成本极低、speculative decoding 提升会话效率,而编码场景大量使用这两者——这正是推理业务超级赚钱的原因。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →