vLLM 核心团队创立 Inferact,为 HUMAIN-M3 阿拉伯模型做推理
woosuk_k · x · 2026-09-04
vLLM 核心团队宣布其新公司 Inferact 正式公开,专注攻 AI 推理最难的问题:与模型厂商合作优化 token 质量与吞吐,并为主权 AI 伙伴做部署,称即使在严格约束下也能大幅提升 token 吞吐量。首个公开案例是与沙特 HUMAIN 及 MiniMax 合作的 HUMAIN-M3——一个前沿阿拉伯语模型,底层推理由 vLLM 驱动,现已上线 HUMAIN Node。团队同时在招人和寻求算力合作。
「Infra」频道最新
- SGLang 合并 Megakernel 低延迟模式，GB300 单用户近 1000 tok/s — ying11231 · 2026-10-21
- 拆解 Agent 拓扑:模型、循环与工具各跑在哪,决定成本与安全 — davidcrawshaw · 2026-10-21
- Chris Lattner 登台 PyTorchCon：用 MAX 和 Mojo 跨厂商扩展 PyTorch — PyTorch · 2026-10-21
- General Compute 宣布与 Positron AI 集群级合作，2027Q1 上线 — eptwts · 2026-10-21
- MemTensor 推出记忆原生架构 MemT-1.0：推理提速 1.86 倍，128K 存储省 66 倍 — _akhaliq · 2026-10-21
- LithosAI 承包 Artificial Analysis 12 项第一：GLM 5.3 Flash 跑出 1543 tok/s — JiaZhihao · 2026-10-21