改一行提示词致缓存失效,Reddit 热议 LLM 账单暴涨
Reddit 楼主征集 LLM/Agent 账单被隐性暴涨的真实案例,引发热议。典型案例包括:有人在系统提示词顶部加入当前日期,导致 prompt cache 命中率一夜跌至接近零;也有团队上线部署后流量不变、账单却悄悄上涨 2-3 倍,原因多为很小的改动——如 system prompt 顶部加时间戳破坏 prompt caching、更换模型等。
2026-11-19 ~ 2026-11-19 · 2 条相关
- LLM 账单莫名翻倍怎么查?Reddit 热议部署后成本突增难题 — Junior-Guitar-290 · 2026-11-19
- LLM 账单暴涨翻车实录:改一行系统提示词,缓存命中归零 — Junior-Guitar-290 · 2026-11-19