一个 uv 编译参数让 vLLM 启动提速 14-18%，省 18 秒

vllm_project · x · 2026-10-19

vLLM 官方账号转发了 Nils Matteson 的优化成果：全新容器启动时会对数千个 Python 文件重新编译，拖慢服务就绪。在镜像构建阶段设置 ENV UVCOMPILEBYTECODE=1，即可把字节码预编译进镜像，H100 实测 Qwen3-8B 与 Qwen3-32B 的启动到首次正确响应中位时间各节省约 17.6/17.8 秒（约 14-18%）。

该改动已进入 CUDA nightly 镜像（PR #55422），官方发布镜像自 v0.32.0 起内置，用户无需自行设置。作者用同机配对测试、8 组观察全部改善，方法与数据完整公开。