按实际 KV cache 命中计费存争议,OpenRouter 被指有刷量嫌疑
charles_irl · x · 2026-10-29
cHHillee 提出推理服务商计费模式的一个关键分歧:很多服务商按实际发生的(realized)KV cache 命中计费,而 Tinker 基于理论命中(1 小时 TTL)计费,更接近 Anthropic 用显式 TTL 计算缓存保留的做法。
作者认为 Tinker/Anthropic 的模式更合理:在按实际命中计费的模式下,推理引擎优化的命中率越高,收入反而越少,激励机制扭曲——而且他观察到 OpenRouter 上已出现这类博弈行为的迹象。
被引用的推文则指出另一个方向:「KV cache 的互联网」——如今跨网络传输一份 KV cache,可能比重新计算更便宜更快。
「Infra」频道最新
- 传新 MacBook Pro 搭 M5 Pro/Max：128GB 内存 16TB 存储助力本地跑大模型 — LearnWithBishal · 2026-10-29
- NanoGPT 速度跑纪录从 39.9 秒骤降至 6.7 秒，降幅超历年总和 — tatsu_hashimoto · 2026-10-29
- Cerebras 晶圆级芯片隐忧：介质面积约为 H100 的 57 倍，TDDB 失效风险或致快速贬值 — teortaxesTex · 2026-10-29
- Modular MAX 全量源码开放:编译器+运行时+硬件后端可商用免版税 — ryanshrout · 2026-10-29
- NVIDIA 开播 CUDA Rust 入门课程,面向 GPU 编程新方向 — NVIDIAAI · 2026-10-29
- Reddit 预测：本地部署大模型将在企业市场爆发 — Terminator857 · 2026-10-29