vLLM 核心团队创立 Inferact,为 HUMAIN-M3 阿拉伯模型做推理
woosuk_k · x · 2026-09-04
vLLM 核心团队宣布其新公司 Inferact 正式公开,专注攻 AI 推理最难的问题:与模型厂商合作优化 token 质量与吞吐,并为主权 AI 伙伴做部署,称即使在严格约束下也能大幅提升 token 吞吐量。首个公开案例是与沙特 HUMAIN 及 MiniMax 合作的 HUMAIN-M3——一个前沿阿拉伯语模型,底层推理由 vLLM 驱动,现已上线 HUMAIN Node。团队同时在招人和寻求算力合作。
「Infra」频道最新
- 开源语音管线接入 Smart Turn 端点检测,误触 LLM 调用减少 — ivan_digital · 2026-09-04
- Domingos 放话:把 LLM 效率翻倍,就该值千亿美元 — pmddomingos · 2026-09-04
- SemiAnalysis：AMD MI355x 每美元 token 产出击败英伟达 B300 — AnushElangovan · 2026-09-04
- Liquid 发布 Nanos 系列：350M-2.6B 专用小模型主打端侧 Agent — JosephJacks_ · 2026-09-04
- Brundage 推测 AI 宕机连锁源于企业客户集体切换模型 — Miles_Brundage · 2026-09-04
- OpenAI Astra 可自动布局与布线 PCB,工程师热议影响 — MikePFrank · 2026-09-04