Windows 上跑 vLLM 完整指南：Docker+RTX PRO 6000 部署 Qwen3.8-27B
Demonicated · reddit · 2026-08-19
Windows 用户此前想跑 vLLM 大多只能退回 LM Studio 等简化方案，作者在 RTX PRO 6000 Blackwell（96GB）上摸索出一套完整流程，让 AI 帮忙整理成指南。这套方案用 Windows 11 + WSL 2 + Docker Desktop，将 Qwen3.8-27B 以 OpenAI 兼容服务形式跑起来，支持视觉、推理、工具调用、prefix caching 和 MTP 投机解码，且可并发跑多个 agent 交互而几乎不影响吞吐。
关键坑点：
- 跨 WSL 9P 边界读 Windows bind mount 会让 safetensors 加载极慢，应把模型一次性拷进 Docker named volume，缓存同理，后续启动大幅提速
- 固定 vLLM 0.26.0 镜像 tag，避免 Docker 静默复用过期的 latest 缓存
- 模型 18 个 checkpoint 分片全部下载完再启动；给出 131K 上下文的推荐基线参数（--max-num-seqs 2、--gpu-memory-utilization 0.92、chunked prefill、Qwen3 推理解析器等）
- PowerShell 变量在同一会话中复用，hf CLI 下载模型
「Infra」频道最新
- OCP 大会最后一日，Nvidia MGX 电源机架场次仍座无虚席 — firstadopter · 2026-10-16
- Intel 用 4 张 160GB 风冷 GPU 卡跑通 816B 参数 Muse Spark Open — BenBajarin · 2026-10-16
- 两台 Mac Studio 跑通 816B 参数模型：4 万美元替代 50 万算力 — charles_irl · 2026-10-16
- Filecoin 主网上线六年，转向 AI 时代存储并推出 S3 对象存储 — juanbenet · 2026-10-16
- PrismML 发布 Bonsai 2 三值模型:9B 仅 2GB 可跑手机 — gajesh · 2026-10-16
- Artificial Analysis 将测试 4-bit 量化与 Metal 投机解码引擎 — ArtificialAnlys · 2026-10-16