Argon 优化 Gemma 推理，单卡 A100 破 12 万 tokens/秒

推理优化团队 Argon 在 vLLM 框架上对 Gemma 4 E2B 进行深度优化，在单张 A100 GPU 上实现超过 12 万 tokens/秒的吞吐量，其中 prefill 阶段约 124k tokens/秒，整体性能较此前提升约 2.9 倍。该成果展示了对中小型模型做针对性推理优化的显著潜力，引发社区对低成本高吞吐部署方案的关注。

2026-10-14 ~ 2026-10-14 · 2 条相关

• 单张 A100 跑出 12 万 tokens/秒，Argon 优化 Gemma 实现 2.9 倍提速 — osanseviero · 2026-10-14
• vLLM 优化 Gemma 单卡 A100 破 12 万 tokens/秒,提速 2.9 倍 — _philschmid · 2026-10-14