缓存命中反而不赚钱?推理商利润经济账引争议
cramforce · x · 2026-11-21
开发者 Malte Ubl 反驳「缓存读取是订阅制 AI 能盈利关键」的说法,提出两个论点:
- 严肃的「等效 API 价格」计算早已把 KV cache 定价计入,拿缓存命中说订阅划算并不新鲜。
- 缓存命中其实对推理服务商利润不利:以 DeepSeek 最热门的 list 价格为例(输入 $0.15/M、输出 $0.60/M,缓存读取仅 $0.003/M),按这个价命中缓存几乎赚不到钱。
由此他得出与原论点相反的结论:服务商只要「不给你缓存命中」就能提高利润率——而命中与否恰恰由服务商控制;只是命中率太低用户会流失,所以服务商实际是在寻找利润最大化折中点。
「Infra」频道最新
- OpenAI 迷恋 token 效率:下次飞跃或等到能扛住百万用户才发布 — VraserX · 2026-11-21
- 重庆赛力斯超级工厂:工业大脑调度 3000 台机器人造电动车 — HaydnBelfield · 2026-11-21
- 36M 参数开源工具让 LLM 本地「看」视频,CPU 即可跑 — Safe-Escape197 · 2026-11-21
- GPU 租金持续上涨:75% 利用率下 2.3-2.9 年即可回本 — BenBajarin · 2026-11-21
- 云厂商 Capex 指数级增长 vs AI 营收线性增长,市场为何不买账 — BenBajarin · 2026-11-21
- 社区把 Inkling-2-Mini 移植到单张 RTX 3090:128k 上下文、DSpark 提速 — Material_Tone_6855 · 2026-11-21