Batch API 省钱账：50% 折扣要乘以可等待流量占比，且应排在选模型和缓存之后
arpit_bhayani · x · 2026-11-13
Arpit Bhayani 长文拆解 LLM Batch API 的正确使用思路：所有主流厂商都提供约 5 折的批量 API，但实际节省 = 50% × 可容忍 24 小时延迟的流量占比，60% 流量符合条件才省 30%。
几个关键点：
- 折扣可叠加：batch 折扣作用于 prompt caching 之后的剩余金额而非原价，缓存越好、输入占比越低，batch 对输出 token 的相对帮助越大。
- 决策顺序：先选对能力档位（实时跑 Haiku 可能比 batch 跑 Sonnet 更便宜且低延迟），再开缓存，最后才考虑哪些流量能等 24 小时。
- 采用前自查：流量占比是否足够高（低占比不值得建队列/轮询/webhook/失败处理）；能否接受最长 24 小时的尾部延迟（deadline 任务需实时兜底）；更便宜的模型档位是否够用。
结论：batch 几乎总是好的省钱杠杆，但应排在选模型和缓存之后。
「Infra」频道最新
- 网传黄仁勋将告别 Nvidia：从洗碗工到万亿芯片帝国创始人 — examachine · 2026-11-13
- 传英伟达500亿美元AI融资工具遭施压，被要求提高25%残值担保 — dinabass · 2026-11-13
- AI工程师GPU底层教程：从token流转、显存计算到量化与多卡切分 — kmeanskaran · 2026-11-13
- CoreWeave Q3 营收 36.6 亿美元涨 168%,签约 Wayve 训练 AI Driver — thursdai_pod · 2026-11-13
- 67B 图像模型跑进 16GB MacBook Air:MLX 移植峰值内存降至约 2.5GB — FlimsyBrief4232 · 2026-11-13
- SimpleHC：去掉残差混合，仅 2.4% 额外训练时间逼近 mHC 性能 — dots-studio · 2026-11-13