LLM 单次成本翻三倍，原因不是流量而是重试和 prompt 膨胀
Lance_Saul_85 · reddit · 2026-07-21
这条帖子讲的是一个很真实的线上成本事故：请求量没涨，但单次请求成本翻了三倍。
- 复盘后发现，第一个问题是超时重试逻辑：在某些故障模式下，一次请求会触发 3 次全价调用。
- 第二个问题是共享 system prompt 在没人治理的情况下不断累积，几个月下来接近 4k tokens，而且里面还出现了彼此矛盾的指令。
- 重试 bug 已经修好，但 prompt 膨胀更像组织问题：每个人加一句都有理由，却没人愿意删别人的护栏，所以作者在找一种更自动、更多“无聊”的治理方式。
- 这条帖子的价值在于提醒团队：LLM 成本上涨，很多时候不是流量问题，而是工程债和 prompt 管理问题。
「Infra」频道最新
- AWS 教程:SageMaker SDK v3 搭建车队级边缘视觉模型流水线 — AWS ML Blog · 2026-10-27
- Embedl 把 Qwen3.8-27B 压进 Jetson Thor:解码 40 tok/s,精度反超 FP16 — No-Dragonfly6246 · 2026-10-27
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27
- Supabase 联创谈 AI 时代后端：为十亿个 AI 生成应用而设计 — Latent Space · 2026-10-27
- AW-0 单卡 RTX 5090 推理 230ms:联合去噪比自回归代码快 2.4 倍 — trevordarrell · 2026-10-27
- 全美市议会话题追踪网站：数据中心热度仅次于匹克球场 — zakkohane · 2026-10-27