Teknium 曝 Hermes 用户遥测:94% token 为缓存读取
Teknium · x · 2026-11-22
Teknium 分享了 Hermes 用户自愿开启遥测后的 token 构成统计(不含用户自加的自定义 provider):cache read 占 94.11%,cache write 4.06%,未缓存输入仅 0.6%,其他 1.23%。
他补充说,如果把用户自行接入、缓存质量控制较差的自定义 provider 算进去,比例还会有变化。这一数据直观展示了当前 agent 类工作负载对 prompt caching 的依赖程度:绝大多数输入 token 实际是命中缓存的重复上下文。
「Infra」频道最新
- Teknium 曝 Hermes 用户 token 构成:92.4% 是缓存读取 — Teknium · 2026-11-22
- 马斯克晒仅用半颗 AI4 芯片实现无游戏引擎实时 AI 视频生成 — jamesdouma · 2026-11-22
- Sentdex 想白嫖 150 张 H100,而 Shkreli 正出钱收购同款 — Sentdex · 2026-11-22
- ECB 查出 AI 行业 4.5 万亿美元隐性债务,较上年统计高 287% — Actual__Wizard · 2026-11-22
- 纯 Rust GGUF 引擎 RustingStrata 在 RTX 3060 上跑 Inkling 2 Mini,生成速度达 llama.cpp 3.5 倍 — Serious_Scarcity7818 · 2026-11-22
- 推理服务商自建 GPU 卖开源模型,价格比大平台低 60% — natolambert · 2026-11-22