vLLM 为 Step 5 Preview 提供首日支持:稀疏注意力+MoE 跑通 Blackwell/Hopper
vllm_project · x · 2026-10-15
vLLM 项目宣布对 Step 5 Preview 提供 Day-0 支持,涉及稀疏注意力、MoE、多 token 预测(MTP)和视觉能力,覆盖 Blackwell 与 Hopper 两代硬件的推理服务。
技术要点包括:稀疏索引器、FP8 MegaMoE 与缓存传输等组件的协同工作。后续推文披露了具体数据:MTP3 在 B300 DEP8 上与基线对比,AIME25 从 0.9500 提升至 0.9667,GPQA 与 OCRBench 基本持平,两轮验证零请求错误;稀疏 prefill 路径中 indexer logits kernel 延迟降低 43%、top-k kernel 降低 84%、整体 prefill 延迟降低约 2.2%。
P/D(预填充-解码分离)原型在 12×GB300 上用 FP8、NIXL 与 384 GiB 缓存存储连接 DEP4 prefill 和 DEP8 decode,记录到 51.4 万前缀命中 token(命中率 91.24%),两轮各 1000 请求的 OCR 测试得分 90.4% 和 89.4%,零请求错误。注意这些是 pre-release 测试结果,最终版本需另行验证。
所属事件:vLLM 为阶跃 Step 5 Preview 提供首日推理支持(7 条相关)→
「Infra」频道最新
- 迁出 1PB 云数据仅出口费就达 7.4 万美元，总成本可达 50 万美元 — DavidLinthicum · 2026-10-15
- 机器人缺它的「ChatGPT 时刻」：全球操作数据仅 30 万小时，缺口达百倍 — 0xSammy · 2026-10-15
- Ramp 融资 18.5 亿美元，估值 600 亿，8.5 万企业月省超 10 亿美元 — SethGRosenberg · 2026-10-15
- GPU 供给过剩论 vs 无限需求:算力泡沫下买市场不买工厂 — bittingthembits · 2026-10-15
- 爆料称英特尔获博通与谷歌代工承诺,14A客户阵容持续扩大 — BenBajarin · 2026-10-15
- 开源推理引擎 Magnitude 让本地模型比 Ollama 快 2 倍以上 — nickbaumann_ · 2026-10-15