改一行提示词致缓存失效,Reddit 热议 LLM 账单暴涨

Reddit 楼主征集 LLM/Agent 账单被隐性暴涨的真实案例,引发热议。典型案例包括:有人在系统提示词顶部加入当前日期,导致 prompt cache 命中率一夜跌至接近零;也有团队上线部署后流量不变、账单却悄悄上涨 2-3 倍,原因多为很小的改动——如 system prompt 顶部加时间戳破坏 prompt caching、更换模型等。

2026-11-19 ~ 2026-11-19 · 2 条相关