单张 A100 跑出 12 万 tokens/秒，Argon 优化 Gemma 实现 2.9 倍提速
osanseviero · x · 2026-10-14
推理优化团队 Argon 在 vLLM 上对 Gemma 4 E2B 做了深度优化，在单张 A100 上突破 12 万 tokens/秒：prefill 达 124k，端到端 111k，相比原始实现提速约 2.9 倍，且宣称零质量损失。演示中用该吞吐同时生成 64 个实时运行的 Python 模拟，展示了高吞吐推理在交互式场景的实际可用性。
所属事件:Argon 优化 Gemma 推理，单卡 A100 破 12 万 tokens/秒(2 条相关)→
「Infra」频道最新
- AMD 发布第六代 EPYC "Verano"，补齐 AI 时代 CPU 版图 — AccBalanced · 2026-10-14
- 阿里 OCP 光互连专场爆满,现场挂出「本房间已满」告示 — firstadopter · 2026-10-14
- SemiAnalysis 预告 TPU 深度评测：TPUv7 外部 TCO 低至 $0.181/M tokens — firstadopter · 2026-10-14
- Serverless 工具调用可降 agent 成本 30 倍:单沙箱并行跑 1000 个 agent — madhavsinghal_ · 2026-10-14
- Prompt caching 让大小模型路由失效:小模型缓存未命中反而更贵 — Lance_Saul_85 · 2026-10-14
- 美银上调全球存储市场预测：2030 年达 2 万亿美元 — Beth_Kindig · 2026-10-14