Mistral Large 4 量化权重登陆 vLLM：FP8 吞吐提升约 2 倍
vllm_project · x · 2026-10-29
vLLM 项目发布了 Mistral Large 4（1T 参数、A52B MoE）的 FP8 与 NVFP4（Blackwell）量化权重，Mistral 主导实现，vLLM 社区贡献者与 Red Hat、inferact、NVIDIA 参与支持。配合内置 DSpark，实测输出吞吐在 FP8 下提升 1.92–2.16 倍、NVFP4 下提升 2.00–2.23 倍（TP8、200 条真实 prompt、greedy 解码、输出 ≤512 token）；跨层 KV 共享、上下文并行与 NIXL P/D 分离服务负责长请求场景。项目同时提供了技术深度解析文章。
所属事件:vLLM 内置 DSpark 与 Mistral Large 4 量化权重，吞吐最高提升逾两倍(2 条相关)→
「Infra」频道最新
- Google Cloud 推出 Rubin 实例,单集群可扩至 8 万块 GPU — Beth_Kindig · 2026-10-30
- Sam Altman 称全民本地推理「很糟糕」：DRAM 闲置 95% 浪费全球资源 — Hesamation · 2026-10-30
- 微软 Maia 300 曝光：机架密度翻倍、带宽 2.5 倍、吞吐最高 7 倍 — Beth_Kindig · 2026-10-30
- 基因组模型 Evo 2 适配 vLLM,7B 可在单张 H100 跑 1Mb 上下文 — anshulkundaje · 2026-10-30
- Meta 语义 token 化广告推荐系统，转化率提升 0.35% — Meta_Engineers · 2026-10-30
- 并行语言模型 5.7 倍提速：一次前向预测多 token 且质量不掉 — aaron_lou · 2026-10-30