vLLM MTP3 验证:B300 上 AIME25 升至 0.9667 且零错误
vllm_project · x · 2026-10-15
vLLM 在 B300 DEP8 环境下将 MTP3 与基线对比验证:
- AIME25:0.9500 → 0.9667
- GPQA:0.9268 → 0.9242
- OCRBench:0.896 → 0.895
- 两轮验证均完成,零请求错误
配套的稀疏 prefill 路径优化:Indexer logits kernel 延迟降低 43%,Top-k kernel 延迟降低 84%,整体 prefill 延迟降低 2.2%(B300 DEP8、MTP3、FP8 KV、60K token 输入、MegaMoE 路径)。同时还移除了 7 处运行时 JIT 预热,并将 chunk 上限设为 4,096 token。
项目方强调这些是被测构建的结果,不构成最终发布版验证完成、也不构成模型质量普遍提升的结论。
所属事件:vLLM 公布 P/D 原型与 MTP3 实测结果(2 条相关)→
「Infra」频道最新
- 奥地利航空航班首现 Starlink 机上 WiFi:实测下行 157 Mbps — mitsuhiko · 2026-10-15
- 银行开始转售刚承销的 AI 数据中心债务，风险正向市场转移 — jazir55 · 2026-10-15
- 论文+开源基准：LLM 故障转移保住对话上下文，连续率 99.2% — its_vayishu · 2026-10-15
- Claude 拒改的 GPU 内核，转手丢给 DeepSeek 照做 — mike64_t · 2026-10-15
- KV4-RL 用 INT4 KV 量化加速 RLVR rollout,提速 1.8 倍精度不掉 — kaist-ai · 2026-10-15
- 英伟达布局北欧:瑞典联合超算上线,2027 年底落地 1GW AI 算力 — nvidia · 2026-10-15