vLLM 从两周实验到 50 万 GPU 上运行，团队新融资 1.5 亿美元
a16z · x · 2026-10-16
a16z 撰文回顾 vLLM 的发展史：2022 年伯克利博士生 Woosuk Kwon 本想用两周让 Meta 的开源模型 OPT-175B 跑得更快，四年后项目已发展为拥有 3000 名贡献者的最大开源推理引擎之一，任意时刻运行在约 50 万块 GPU 上。
核心技术来自操作系统「虚拟内存」思想——按需分配显存，让每块 GPU 能同时处理大小差异极大的请求（vLLM 的 v 即 virtual）。首个用户 LMSYS 竞技场借此把 GPU 需求砍半；如今 Google、Amazon、Meta 都在生产环境运行 vLLM。
今年 1 月，核心维护者创立公司 Inferact 并融资 1.5 亿美元，为 vLLM 组建全职团队，现正于旧金山和新加坡招聘工程、市场与开发者关系岗位。
「公司和人」频道最新
- 谷歌工程师预告：Beam 技术报告将于本月内发布 — alexpolozov · 2026-10-17
- Fireworks 联合微软 NVIDIA 办 SF 黑客松，冠军奖金 1 万美元 — sophiamyang · 2026-10-17
- 软件工程一词奠基人 Margaret Hamilton 去世，享年 90 岁 — Dr_Atoosa · 2026-10-17
- 反驳 Andreessen「欧洲自弃 AI」论：六大品类头部是欧洲公司 — IsForAt · 2026-10-17
- Datology Labs 开放数据研究 Fellowship：带薪半年，11月15日截止 — josh_wills · 2026-10-17
- MKBHD 称 Apple HomeView 广告最怪，分析师反驳：家庭刻画最真实 — BenBajarin · 2026-10-17