vLLM 创始团队创办的 Inferact 日服务 token 突破 7 万亿
由 vLLM 创始人和核心维护者创办的推理平台 Inferact 宣布,其平台目前每天为客户服务超过 7 万亿 token,可跨异构硬件运行多个前沿模型。作为参照,OpenRouter 过去 30 天全部供应商的处理量也与之相当,凸显 Inferact 在大模型推理服务领域的规模优势。
2026-11-06 ~ 2026-11-06 · 2 条相关
- vLLM 团队创办的 Inferact 日处理 token 超 7 万亿 — Xianbao_QIAN · 2026-11-06
- vLLM 团队创办的 Inferact 日服务 token 量突破 7 万亿 — woosuk_k · 2026-11-06