vLLM 0.28.0 升级指南：Rust 前端与量化支持
vllm_project · x · 2026-08-27
vLLM v0.28.0 发布，在服务端和前端有重要更新：
- E/P/D：移除重复的图像预处理，并迁移至 GPU。
- Rust 前端：新增独立渲染器及通过 gRPC 进行图像推理。
- 量化：在线 MXFP4 量化，以及通过 CUTLASS 实现批处理不变的 NVFP4 MoE。
- 优先级：请求优先级现在可来自 HTTP 头。
- 安全：修复了通过伪造音频采样率进行的 DoS 漏洞。
升级前注意：
- 默认变更：maxnumbatchedtokens 从 8192 提升至 16384；Mamba 模型默认开启前缀缓存。
- 插件化：bitsandbytes 现为树外插件；移除了 calculatekvscales 和 overrideattentiondtype。
- 依赖：升级至 Transformers 5.15.0，运行时镜像迁移至 Ubuntu 24.04。
- 指标重命名：KV 卸载分层指标从 ...block... 重命名为 ...chunk...。
所属事件:vLLM v0.28.0 发布：270 位贡献者带来 584 项提交(3 条相关)→
「Infra」频道最新
- 开源推理引擎 Magnitude 让本地模型比 Ollama 快 2 倍以上 — nickbaumann_ · 2026-10-15
- 传 Nvidia 本周宣布数百亿美元欧洲 AI 投资 — georgemillo · 2026-10-15
- Cloudflare 一夜 $10,811 账单：退款靠运气，刹车得自己装 — sujingshen · 2026-10-15
- 阿姆斯特丹大学新方法:Transformer 免再训练变身弹性模型 — VISLab-Amsterdam · 2026-10-15
- vLLM MTP3 验证:AIME25 提至 0.9667,prefill kernel 延迟最高降 84% — vllm_project · 2026-10-15
- 26ms 决策模型 s1-llm-auto-router 开源，为请求自动选 LLM — airesearch12 · 2026-10-15