实测推翻论文数据:DiffusionGemma 峰值吞吐实为 3k tok/s,约为论文 3 倍
bodonoghue85 · x · 2026-09-06
一位研究者指出 DiffusionGemma 论文未说明测吞吐量时用的 batch size，于是自己按近似设置做了 sweep：单张 H200、PG19 数据、每 forward 17.56 tokens、1k 输入 8k 输出、vLLM 推理。结果显示：
- 峰值吞吐在 fp8 下约 3k tok/s，bf16 下约 2.7k tok/s，比 uno 论文报告的数字高约 3 倍
- 论文声称的 1k tok/s 峰值吞吐不成立，论文数据需要更新
- 作者还指出，论文在 bf16 而非 fp8 下宣称推理优势并不寻常，因为大规模推理几乎没人用 bf16；实测 fp8 确实带来进一步提升
作者表示 vLLM 还可进一步调优，实际吞吐只会更高，并拒绝继续与论文作者争论。
所属事件:DiffusionGemma 实测吞吐约为论文三倍，H200 或达 6000 tok/s(2 条相关)→
「Infra」频道最新
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23
- 优化 PCIe 小消息 all-reduce 内核，DeepSeek-V4.1 推理解码提速 12% — AlpinDale · 2026-10-23
- 海上油气平台拟改建为 AI 数据中心，烧闲置天然气供算力 — clemnt · 2026-10-23
- 同为原生 UI:Swift 版 80MB 仅限 Mac,Zig 版 10MB 三端通吃 — jedisct1 · 2026-10-23
- 开源本地版 NotebookLM:SurfSense 全文档问答与文档编辑 Agent — FurtiveMirth · 2026-10-23