实测 agent 流量输入输出 token 比 89:1,你的账单大头是 prefill 而非生成
MotherMouse8132 · reddit · 2026-09-10
一位推理基础设施运营者在 Reddit 公布了 24 小时、4100 次请求的真实 agent 流量测量:输入 2.018 亿 token,输出仅 227 万 token,比例高达 89:1(平均每次请求输入 50,239 token、输出 564 token)。
核心结论:
- Agent 每一步都会重发完整对话历史加工具输出,短工具调用换来长结果,下一轮又全部携带——所以你向厂商买的是上下文阅读,不是生成。
- 按 output 价格和 tok/s 对比厂商,对 agent 工作负载是看错了列;真正决定账单的是输入价格、缓存读价格、以及 prefix caching 是否真能跨轮命中。
- 实测同一 64k 上下文:cold prefill 3.95 秒,warm 仅 0.78 秒,快 5 倍且按缓存费率计费。正常情况下 agent 循环首轮后几乎每轮都该命中缓存;命中不了,要么厂商没做缓存,要么你的框架在轮间改动了 prompt 头部(比如 system prompt 里放时间戳就会破坏缓存)。
- KV cache 每 token 成本因架构差异巨大:其服务的 125B MoE 约 12 KB/token,而 GLM-5.3-Flash 约 176 KB/token,相差 15 倍——这决定了厂商在排队前能承载多少长会话。
作者自述是推理服务商、利益相关,但数据与推理过程完整,对选型和框架设计都有直接参考价值。
「Infra」频道最新
- 分析师:全球 IT 年支出约 3 万亿美元,新增预算持续流向 AI — BenBajarin · 2026-10-26
- Anthropic S-1:每 1 美元收入烧 48 美分算力成本 — nmasc_ · 2026-10-26
- Persistent AI 入驻 UR 网络，隐私推理流量全程加密 — 0xSammy · 2026-10-26
- Anthropic 算力承诺曝光：Google 至少 1145 亿美元居首 — BenBajarin · 2026-10-26
- SpaceX 与 Apollo 达成 400 亿美元 AI 芯片与数据中心硬件租赁协议 — Polymarket · 2026-10-26
- Diamandis 盘点：SpaceX AI 业务年增 830%，Claude 64 小时设计 31.8 万抗毒蛋白 — PeterDiamandis · 2026-10-26