每 token 单价不可信：缓存命中率差异让同一模型任务成本差 2.3 倍

nicolechirps · x · 2026-10-24

ValsAI 的实测指出：每 token 定价是判断实际支出的糟糕指标，不同服务商对同一模型的缓存命中率不同，直接影响全价计费比例。最典型案例是 Baseten 上的 Kimi K3：其 token 单价与其他服务商接近，但同一任务实际花费 12.65 美元，而最便宜的服务商只需 5.43 美元——因为 Baseten 仅 72% 的输入走缓存，Together AI 和 Fireworks 则达到 94%，更多 prompt 内容按全价计费。

结论：比较模型成本必须看任务级实际花费与缓存命中率，而不是看标价。