Gemma 推理提速 2.85 倍:vLLM 上突破每秒 10.8 万 token
patloeber · x · 2026-10-27
- Google Gemma 团队借助 Gemini 4 Argon 辅助开发,在单张 A100 上通过 vLLM 将 gemma-4-E2B-it 的吞吐从约 37,900 tokens/s 提升至 108,000+ tokens/s,加速 2.85 倍。
- 官方宣称 100% token 一致、零质量损失,且整个过程只用了几天而非数月。
- 优化细节分布在 8 个 PR 中,包括:融合 MTP 投机解码层与稀疏 gather-GEMV LM head、为 QKV norm/RoPE/FFN norm/MoE 路由编写融合 Triton 内核、为 Gemma 4 26B-A4B(E=128)调优 Triton FusedMoE 配置,以及多模态侧的视觉/音频 RMSNorm 融合与批量图像嵌入等。
- 系列 PR 由 vLLM collaborator lucianommartins 提交,部分已合并,展示了 LLM 辅助内核优化的完整落地路径。
「Infra」频道最新
- Bain:AI 基建狂飙下 HBM 市场将达 1060 亿美元,四年增 26 倍 — Beth_Kindig · 2026-10-27
- AI 热潮引发云计算「圈地运动」，超大规模云厂商加速扩张 — DavidLinthicum · 2026-10-27
- Categorica 开源 NGINX Prometheus 原生指标导出模块，告别 sidecar — Technovangelist · 2026-10-27
- NVIDIA 演示 RTX Spark 上一键运行 Unsloth,本地训练与强化学习 — danielhanchen · 2026-10-27
- 彭博数据报道：Anthropic 营收飙升与算力账单的惊人对比 — nmasc_ · 2026-10-27
- 4090 算力翻倍至 331 TFLOPS：GPU FP32 累加解锁原理全解析 — panchovix · 2026-10-27