vLLM 首日支持 Qwen3.8 2.4T 模型，提供开箱即用 4-bit 量化
vllm_project · x · 2026-08-13
vLLM 项目宣布 Day-0 支持阿里巴巴最新发布的超大规模开源模型 Qwen3.8-2.4T-A95B（总参数量 2.4T，激活参数 95B，含 512 个专家）。
官方已在 NVIDIA 和 AMD 硬件上完成验证，并联合 Inferact 提供了开箱即用的 4-bit 量化检查点：
- NVFP4 版本（1.32 TiB）：可在单节点 8xNVIDIA B300 上运行。
- MXFP4 版本（1.45 TiB）：可在单节点 8xAMD MI355X 上运行。
用户无需自行进行格式转换或校准，直接使用 vllm serve 即可部署。
所属事件:vLLM首发支持通义Qwen3.8 2.4T大模型(2 条相关)→
「Infra」频道最新
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍 — zhyncs42 · 2026-10-16