vLLM 原班人马创业做 Inferact：可控的高性价比推理平台
Xianbao_QIAN · x · 2026-10-17
vLLM 创作者团队推出 Inferact，定位「你可控的前沿推理」，官网展示两条产品线：
- Inferact Platform：部署在用户自己的云或数据中心，权重、流量、日志留在用户环境内。
- Inferact Cloud：使用团队提供的 GPU，由 vLLM 的原作者工程师做推理调优。
平台特性包括 agent 自动调参以满足延迟/吞吐要求、新模型 Day-0 支持与质量验证、自定义内核与训练投机解码、自动扩缩容、端点鉴权与 token 计量、以及按工作负载观测吞吐/延迟/成本的控制平面。官网合作伙伴页脚出现 Google Cloud、Intel、Kimi、MiniMax、NVIDIA、Prime Intellect 等。
「Infra」频道最新
- Transformers 支持激活检查点卸载到 CPU，GPU 显存紧张者福音 — StasBekman · 2026-10-17
- DatologyAI：数据策展可再挖 1000 倍算力效率空间 — josh_wills · 2026-10-17
- Supabase 发布 Middleware 库：一次编写请求逻辑，任意 fetch 运行时复用 — dshukertjr · 2026-10-17
- 开发者求沙箱方案：N 子沙箱并发写盘、父沙箱动态挂载读 — zeeg · 2026-10-17
- 两块 H200 跑 Nemotron 120B：Litespark 推理达每秒 962 token — NVIDIAAI · 2026-10-17
- 旧金山签署数据中心暂停令,Kwok 质疑「我们在干嘛」 — kevinakwok · 2026-10-17