vLLM v0.30 性能细节:Gemma 4 多模态提速 3.23 倍
vllm_project · x · 2026-09-23
vLLM v0.30.0 官方线程的性能工作部分，列出多项可量化优化：
- RL 采样掩码：GPU 压缩让 512 请求下的吞吐恢复到无掩码的 2–3% 以内，修复约 2 倍的步时回退
- Kimi K3 混合批次：端到端吞吐提升 5.2–7.7%
- Gemma 4 多模态前缀：在 RTX PRO 6000 上端到端提速 3.23 倍
- AMD ROCm：packed W4A16 零点让 Gemma 4 AWQ 的中位 TPOT 降低 26.4%
- Arm CPU：Llama 3.1 8B W8A8 吞吐提升约 6%
所属事件:vLLM v0.30.0 发布：762 次提交带来多项性能优化(3 条相关)→
「Infra」频道最新
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- AMD 与 Dell 拿下 182 项世界纪录，EPYC 性能提升 94% — AccBalanced · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12
- dhh 发布 Omarchy 4.6：Tailscale 内共享本地 AI 模型推理 — alexcovo_eth · 2026-11-12