vLLM 团队创办的 Inferact 日服务 token 量突破 7 万亿
woosuk_k · x · 2026-11-06
由 vLLM 创始人和核心维护者创办的 Inferact 宣布，其推理平台现在每天为客户服务超过 7 万亿 token，作为参照，OpenRouter 过去 30 天全部供应商的开放权重模型日均为 19 万亿 token。
关键信息：
- 平台跨异构硬件（NVIDIA、AMD、Google 加速器）以优化版 vLLM 服务多个前沿模型，合作模型方包括 MiniMax、Kimi 等，新模型发布首日即上线。
- Agentic 负载带来特殊挑战：长上下文前缀、工具调用暂停使资源需求动态变化，静态 benchmark 难以暴露瓶颈。
- 平台定位为推理栈控制面：由 agent 针对每个「模型×芯片×流量」组合自动调优部署，在同等 GPU 上提升吞吐并保持延迟稳定。
- 数据飞轮：生产流量发现 vLLM 改进点，改进反哺平台，下一步计划让 agent 自动寻找并验证优化。
所属事件:vLLM 创始团队创办的 Inferact 日服务 token 突破 7 万亿(2 条相关)→
「Infra」频道最新
- 马斯克称 Terafab 进展飞快，Tesla 自研芯片工厂日夜赶工 — elonmusk · 2026-11-06
- 孙正义选定马来西亚布局 500 亿美元科技投资押注 AI 基建 — basedjensen · 2026-11-06
- 为什么没有面向 256GB 内存的高精度编码剪枝版 DeepSeek 和 GLM？ — evrenozkan · 2026-11-06
- 数据中心资本开支大举外流马来西亚,转推引热议 — basedjensen · 2026-11-06
- 三台机器跑本地 LLM 失控:多机 GPU/显存管理怎么搞 — pipecanon · 2026-11-06
- 传 ING 出售 5 亿美元数据中心贷款组合，据彭博报道 — apples_jimmy · 2026-11-06