OpenRouter 日处理 5.2T token,大 V 追问 GPU 到底去了哪
teortaxesTex · x · 2026-10-29
开发者 shoucccc 披露:OpenRouter 昨日服务了 5.2T tokens,而自己仅用 64 块 B300 和 64 块 M890P 就处理了约 1.8T tokens(约为 OpenRouter 的 1/3 体量),吐槽「GPU 都去哪了?」。
teortaxesTex 据此算账:万亿 token 其实是个小数字——DeepSeek 每天处理 155T tokens,约只需 2600 块 GB200(即约 16 块 GPU 撑 1T tokens/天)。按这个效率,头部推理平台的 GPU 需求并不像想象中夸张,他由此质疑:全网囤积的大量 GPU 到底消耗在哪些 token 上?
所属事件:token 消耗数据引热议：全球 AI 推理规模或远超想象(2 条相关)→
「Infra」频道最新
- 西班牙高铁相撞事故,Movistar 与 Orange 启用星链恢复灾区通信 — elonmusk · 2026-10-29
- 微软云营收超630亿美元增速达30%,纳德拉称押注智能体浪潮 — elonmusk · 2026-10-29
- 谷歌 Gary Illyes 谈假 Googlebot 爬虫泛滥与 AI 训练抓取之乱 — gaganghotra_ · 2026-10-29
- 苹果 MLX 合并多项优化：批量解码提速 2~3 倍，prefill 近 2 倍 — awnihannun · 2026-10-29
- LessWrong 提案:用 ASIC 固化模型拆分训练与部署,消解前沿 AI 公司风险 — LessWrong 精选 · 2026-10-29
- 16GB 显卡跑 Raon-1-mini：从 50 提速到 232 tok/s 的完整调优记录 — McNiiby · 2026-10-29