NVIDIA 技术博客：Gemma 4 推理速度突破 1 万 OTSU
ricklamers · x · 2026-08-25
NVIDIA 的 LPX 团队发布技术博客，展示了在模型推理优化方面的最新进展，公布了一些令人印象深刻的数据。
性能数据：
- Gemma 4：在高质量设置下达到了 10,996 OTSU 速度；在 100K 输入上下文窗口的完整负载中，中位数 OTSU 达到 3,431。
- 大模型优化：利用 Vera Rubin 和 LPU drafts 处理 2T 规模模型，实现了 1000 tok/s 的交互速度，并拥有最佳的 tok/watt 能效比。
所属事件:英伟达 Groq 3 LPX 全面量产，Nebius 首家上线(18 条相关)→
「Infra」频道最新
- 英伟达携手瑞典 Wallenberg，Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16
- 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16
- Cerebras 用异构 prefill 池喂晶圆级引擎，解码速度与 batch 解耦 — ai · 2026-10-16
- d-Matrix Corsair 机架正式出货，演示 H100+8 XPU 跑出 845 tok/s — ai · 2026-10-16
- Actual 实测 DGX Station 跑出 10k tok/s，推理引擎与 GB300 案例曝光 — natesiggard · 2026-10-16