Teknium 曝 Hermes 用户遥测:94% token 为缓存读取

Teknium · x · 2026-11-22

Teknium 分享了 Hermes 用户自愿开启遥测后的 token 构成统计(不含用户自加的自定义 provider):cache read 占 94.11%,cache write 4.06%,未缓存输入仅 0.6%,其他 1.23%。

他补充说,如果把用户自行接入、缓存质量控制较差的自定义 provider 算进去,比例还会有变化。这一数据直观展示了当前 agent 类工作负载对 prompt caching 的依赖程度:绝大多数输入 token 实际是命中缓存的重复上下文。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →