中转 API 打 5 折却没 prompt caching,长会话反而贵 100 倍?

uneatenbreakfast · reddit · 2026-11-02

一位开发者发现中文 API 中转站虽号称官方价 5-9 折,但大多数没有上游 prompt caching:上下文越长,每次请求的输入 token 都按全价计费,而 AI 编程的长会话恰恰烧 token 极快。作者算账后发现,便宜标价可能抵不过需要多花成倍 token 的隐性成本,询问是否有支持 prompt caching 的中转站。

对依赖长上下文的 API 用户是个实用的选型提醒:比价时要看缓存是否打通上游,否则折扣可能是假优惠。