Nebius Token Factory 上线缓存 Token:命中前缀自动按缓存价计费
HowDevelop · x · 2026-10-24
Nebius Token Factory 推出 Cached Tokens 功能,自动复用近期请求中已计算的 prompt 前缀,无需改请求、设缓存键或显式开启,Serverless 与 Dedicated 端点均支持。
计费要点:
- Serverless 请求按三种 token 计费:未命中缓存的 input、命中缓存的 cached input(按各模型缓存价,更便宜)、output;
- 每个响应都会报告缓存 token 数,计费透明;
- Dedicated 端点按 GPU 小时计费,缓存不改变账单。
最适合长且稳定前缀的场景:重复 system prompt、跨调用相同的工具/函数定义、置于开头的 few-shot 示例、多轮对话与 agent 循环。缓存为 best-effort。
「Infra」频道最新
- M3 Max 36GB 五引擎推理实测：Kapitsa 密集 41 tok/s 居首 — Hyungsun · 2026-10-24
- Ramjet 替换 nginx 使 domyn swarm 多 agent 会话提速最高 61% — DoggoProfessor959 · 2026-10-24
- 美光 G11 NAND:同面积容量翻倍,2027 下半年量产 — rohanpaul_ai · 2026-10-24
- PSA：从 SSD 流式读取 n-gram 表会实打实损耗 SSD 寿命 — Chromix_ · 2026-10-24
- ISTA 发布 DeepSeek-V4.1-Flash 极限量化版：2 比特性能不掉，单卡 12GB 可跑 763B 模型 — Loginhe · 2026-10-24
- Pedro Domingos:Sam Altman 的胜负手是垄断算力 — pmddomingos · 2026-10-24