vLLM v0.33.0 发布：927 次提交，GB300 解码延迟最高降 2 倍
vllm_project · x · 2026-11-04
vLLM 发布 v0.33.0 版本，包含 927 次提交、389 位贡献者（其中 122 位首次参与）。
- 新模型支持：Reflection Beam-1.0、Step-5 Preview、Nemotron Parse 3.5、MiniCPM-OCR 1.0 等
- PyTorch 2.14：仅提供 CUDA 13.0 wheels，libtorch ABI 稳定
- 投机解码：新增 XPress refiner、FLy lossy verify（1.04–1.31x），DSpark 在 GB300 上从 1373 提升至 3390 tok/s
- NVIDIA 解码优化：GB300 解码延迟降低 1.5–2 倍，Blackwell 上 FA4 sparse MLA，TTFT 降低 39–48%
- AMD ROCm 10.0 成为默认，MonoKernel P50 提升 2.32 倍
- 新增 AWS EFA 镜像，镜像名简化为 vllm/vllm
「Infra」频道最新
- mlx-serve 新 PR:两台 Mac 经雷电 5 跑张量并行,DeepSeek 解码提速 57% — HankYeomans · 2026-11-04
- PyTorch Day Japan 12月东京举行，含 ExecuTorch 移植边缘加速器实战议题 — PyTorch · 2026-11-04
- 2B 决策模型跑上树莓派：单次图像决策约 9 秒 — JosephJacks_ · 2026-11-04
- 推理引擎大爆炸：llama.cpp 老用户追不动新框架了 — Kahvana · 2026-11-04
- 算账：一张 RTX 6000 Pro 年租金已超全球人均年收入 — KyeGomezB · 2026-11-04
- 语音 AI 并发限制成隐性成本税,Phonic 分享应对方案 — graceisford · 2026-11-04