实测揭示：同一模型不同供应商，每任务成本差距可达 9 倍
ArtificialAnlys · x · 2026-10-14
Artificial Analysis 上线各供应商的缓存命中率（Cache Hit Rate）与按供应商拆分的 Cost per Task 数据，核心发现：
- GLM-5.3 (max) 的每任务成本在 21 家供应商（25 个端点）间相差约 9 倍：Makora 为 $0.92，Nebius 高达 $8.68。两者缓存命中率几乎相同（98% vs 100%）、输出价一致（$4.40/M），差距全在输入定价——Makora 缓存命中输入仅 $0.10/M，而 Nebius 的共享 serverless 端点不给缓存折扣，全部按 $1.40 计费。
- 缓存命中率区间为 41%100%：8 家达 100%（Modal、DeepInfra、Parasail、Together AI、DigitalOcean、Nebius、Novita、Z AI 官方 API），15 个端点 ≥98%；最低是 Multiverse Computing（41%）和 Bitdeer（50%）。
- 测量方法：跑多轮 agentic 编码任务并读取各供应商 usage 响应中的缓存 token 数；Cost per Task 用统一的 Intelligence Index 输入输出 token 量，套用各家的输入/输出/缓存读写价格与实测命中率计算。
要点：agentic 负载每轮重发全部对话历史，绝大多数输入 token 可被缓存，因此缓存定价与命中率是供应商间成本差异的主导因素——选托管商时先看缓存政策。
所属事件:实测显示不同 API 供应商每任务成本差距可达 9 倍(2 条相关)→
「Infra」频道最新
- 单张 A100 跑出 12 万 tokens/秒，Argon 优化 Gemma 实现 2.9 倍提速 — osanseviero · 2026-10-14
- Espresso 上线 Spark 优化:自动修正错误机型与配置 — mattturck · 2026-10-14
- Intel Diamond Rapids 主板亮相:16 条 DDR5 插槽支持 MRDIMM — firstadopter · 2026-10-14
- SayGM 声称 LLM 网关可省 70% 费用，ARR 达 500 万美元 — markjeffrey · 2026-10-14
- Eaton 800V 直流电源机架亮相 OCP 峰会，围观者众 — firstadopter · 2026-10-14
- 混合精度+混合加速器采样器跑 RL，配合 off-policy 校正稳定收敛且更省成本 — xiuyu_l · 2026-10-14