vLLM 团队创办的 Inferact 日处理 token 超 7 万亿
Xianbao_QIAN · x · 2026-11-06
由 vLLM 创造者与核心维护者创办的推理平台 Inferact 宣布，目前每天向客户服务超过 7 万亿 token，跨异构硬件运行多个前沿模型。作为参照，OpenRouter 过去 30 天平均日处理 19 万亿 token 的开放权重模型流量。
- 该规模下的难点：小低效在数千张 GPU 上复利放大，硬件故障与负载尖峰每天都会发生；agent 工作负载会积累长上下文前缀并在工具调用时暂停，资源需求动态变化，静态 benchmark 无法暴露这些瓶颈。
- Inferact Platform 定位为推理栈的 control plane：agent 针对每个「模型×芯片×流量」组合自动调优部署，在相同 GPU 上提供更高吞吐并保持延迟稳定。
- 团队持续主导 vLLM 开发，形成数据与反馈闭环：生产经验反哺 vLLM，vLLM 的改进又强化平台。
「Infra」频道最新
- Muon 优化器后训练开销实测：SFT 场景 FLOPs 最多增加 54% — kastnerkyle · 2026-11-06
- 美光暴跌 17% 后被指超跌：10-K 仍显示 1340 亿美元订单储备 — tengyanAI · 2026-11-06
- Vivek Wadhwa：豪掷万亿建数据中心是科技巨头的致命误判 — sanjaykalra · 2026-11-06
- 千元内 20GB+ 显存仅剩 AMD:7900 XT/XTX 跑视频生成还靠谱吗 — Beneficial_Fish_7509 · 2026-11-06
- 开源项目 NVKE:把 NVIDIA GPU 集群打包成 Kubernetes 引擎 — gkapur · 2026-11-06
- 蓝色起源发布 Northstar 发动机：推力 71.5 万磅，比 BE-4 轻 30% — beffjezos · 2026-11-06