魔改 vLLM 补丁把 Gemma 4 31B 推理提速至 150 tok/s，超越 SGLang 最佳成绩
abhijithneil · x · 2026-09-13
- 作者将 Gemma 4 31B 在单张 B300 GPU 上的吞吐从 46.7 tok/s（eager 基线）提升到 150 tok/s（非有损配置），超过 SGLang 最优的 139 tok/s
- 关键难点：Gemma 4 的十个全局层使用 headdim 512，多数 attention kernel 不支持——FlashInfer 在 SGLang 里可以路由处理，但 vLLM 的该路径最高只支持 headdim 256
- 作者 fork vLLM 并自行打补丁修复 headdim 256 上限，配合 FlashInfer 实现 vLLM+FlashInfer 组合 150 tok/s，超过 SGLang+FlashInfer 的 139 tok/s
- 博客文章即将发布
「Infra」频道最新
- 台积电拟明年 CoWoS 先进封装涨价至多 20%，AI 芯片需求持续火爆 — Beth_Kindig · 2026-10-31
- effect-harness + Cloudflare：agent 循环自由拆到多台 VM 上跑 — samgoodwin89 · 2026-10-31
- 谷歌 Project Suncatcher 太空 TPU 首次在轨运行并返回结果 — sundarpichai · 2026-10-31
- Together AI 推出 Post-Training 平台:Agentic RL 训练托管服务 — togethercompute · 2026-10-31
- General Compute 融资 1 亿美元投推理算力，CoreWeave 股价同周创新低 — YvesMulkers · 2026-10-31
- 分析师警告 AI 算力「越买越涨」正反馈环,Kioxia 闪存涨价预警引发闪崩 — bookwormengr · 2026-10-31