LLM应用成本优化：输出Token与缓存策略
AggeK · reddit · 2026-07-15
一位开发者在为 LLM 应用接入精确的请求成本追踪后，分享了关于 API 费用的核心洞察与优化实践： - **输出 Token 是大头**：由于输出单价远高于输入，限制 `max_tokens` 比精简系统提示词更能省钱。 - **善用 Prompt 缓存**：缓存读取成本极低，保持系统提示词稳定（避免加入时间戳等易变信息）能大幅削减开销。但缓存写入更贵，仅在前缀确实被复用时才划算。 - **工程实现建议**：金额计算应使用整数（百万分之一美元）而非浮点数，以防累加舍入误差；应基于统一的模型价格注册表进行计费，确保各环节数据一致。