OpenRouter 日均 10 万亿 token 里 99% 是缓存命中,真实算力需求远小于表观数字
AccBalanced · x · 2026-10-29
demianai 分析指出,OpenRouter 上数以万亿计的 token 大部分不是 GPU 的新工作,而是 agent 反复重读同一段对话。
以 OpenRouter 最大的 DeepSeek V4.1 Flash 为例,日均约 10 万亿 token 中:
- 约 99% 为输入,其中约 95% 是缓存命中
- 模型真正生成的只有约 1140 亿 token
- 需要从零处理的输入约 4600 亿 token
- 剩下约 8.9 万亿 token 只是模型被重复展示早已看过的上下文——agent 每轮都重发整个会话,OpenRouter 计数器照单全收
thdxr 据此指出需求的真实规模:昨天 OpenRouter 的 DeepSeek 流量几乎可以用一台 GB300 机架(约 72 GPU)全量服务,该设备价值约 600-700 万美元——「即使暗中还有 10 倍需求,也不到 1 亿美元的算力」。结论:缓存命中率极高之下,真实 GPU 计算量远小于 token 数字表面暗示的规模。
所属事件:算力需求降温：OpenRouter 流量 99% 是缓存命中(2 条相关)→
「Infra」频道最新
- 单次任务 400+ 工具调用,Monty 沙箱给 agent 撑起沙盒代码模式 — samuelcolvin · 2026-10-29
- Delta-Matching 打通全 FP8 注意力训练:七个核心矩阵乘全部 FP8,loss 追平 BF16 — songhan_mit · 2026-10-29
- Oracle 积压订单 6640 亿美元，自由现金流却为负 237 亿 — pdamodaran · 2026-10-29
- 微软首次披露 Azure 季度收入:332 亿美元,直逼 AWS — TechCrunch AI · 2026-10-29
- Supabase 上线 OrioleDB 公测：面向高频更新表的 Postgres 新存储引擎 — dshukertjr · 2026-10-29
- 纳德拉：让每台 PC 成安全 Agent 盒，本地模型智能不再计费 — tomwarren · 2026-10-29