一张图讲清 API 按 token 计费的钱都花在哪
cneuralnetwork · x · 2026-11-01
cneuralnetwork 分享了一张「Where the money goes per token」信息图，拆解单次 LLM API 调用端到端的成本构成：
- Prompt → Tokenise：先把文本切成 token
- Prefill（一次）：处理全部输入 token，构建 KV cache
- Decode（循环）：逐个生成输出 token，复用 KV cache
- KV cache memory：存储历史 token 的 key/value，避免重复计算
结论：你为三件事付费——输入 token 的 prefill 计算、输出 token 的 decode 计算、以及保存 KV cache 的内存（与上下文长度成正比）。这解释了为什么长上下文调用更贵。
「Infra」频道最新
- FreeToken 把数据中心级推理搬到桌面,Star 冲上 1.5 万 — FlashML-org · 2026-11-01
- 马斯克称 xAI 资本开支效率被严重低估 — RachelVT42 · 2026-11-01
- AI 泡沫破裂蔓延:中国股市蒸发 23.5 万亿,纳指单日跌 3.46% — Grady_Booch · 2026-11-01
- Strata 引擎实测翻车:2×R9700 上不敌 llama.cpp,质疑定制引擎炒作 — Don_Reuter · 2026-11-01
- exo 把多台 Mac 组成 AI 集群，48.1k star 可跑单机放不下的大模型 — alex_verem · 2026-11-01
- 6 个开源本地 AI 工具盘点：Mac 8GB 内存也能离线跑模型 — alex_verem · 2026-11-01