vLLM 内置 DSpark 带来最高 2.23 倍输出吞吐提升
vllm_project · x · 2026-10-29
vLLM 发布内置 DSpark 支持，实测输出吞吐提升明显：FP8 下 1.92–2.16 倍，NVFP4 下 2.00–2.23 倍（对比匹配基线）。测试条件：TP8、200 条真实 prompt、greedy 解码、输出 ≤512 token。此外新版本支持低/中/高三档推理力度（默认高），Pixtral 视觉支持单 prompt 多图；SkyRL 支持 Mistral Large 4 的 day-0 RL 训练与 vLLM rollouts。
所属事件:vLLM 内置 DSpark 与 Mistral Large 4 量化权重，吞吐最高提升逾两倍(2 条相关)→
「Infra」频道最新
- 基因组模型 Evo 2 适配 vLLM,7B 可在单张 H100 跑 1Mb 上下文 — anshulkundaje · 2026-10-30
- Meta 语义 token 化广告推荐系统，转化率提升 0.35% — Meta_Engineers · 2026-10-30
- 并行语言模型 5.7 倍提速：一次前向预测多 token 且质量不掉 — aaron_lou · 2026-10-30
- Oracle 投资者日披露:1GW AI 基础设施合约值 800 亿美元、ROI 约 28% — rohanpaul_ai · 2026-10-30
- Sam Altman：本地推理是对稀缺算力的糟糕分配，云上利用率才是正解 — morqon · 2026-10-30
- AWS 实战指南：在 EKS 上部署 120B 参数 Nemotron 3.5 Super VL — AWS ML Blog · 2026-10-30