NVIDIA 推出 LPU 架构，Gemma 4 推理速度达万级
AccBalanced · x · 2026-08-25
NVIDIA LPX 团队发布技术博客，展示了新的推理架构性能：
- Gemma 4 性能：在高质量设置下达到 10,996 OTSU 速度，100K 上下文窗口中位数速度达 3,431 OTSU。
- 2T 级模型：结合 Vera Rubin 和 LPU drafts 草稿技术，实现 1000 tok/s 的交互速度，并拥有最佳的 tok/watt 能效比。
这些数据展示了 NVIDIA 在大模型推理加速方面的最新进展。
所属事件:英伟达 Groq 3 LPX 全面量产，Nebius 首家上线(18 条相关)→
「Infra」频道最新
- 英伟达携手瑞典 Wallenberg，Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16
- 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16
- Cerebras 用异构 prefill 池喂晶圆级引擎，解码速度与 batch 解耦 — ai · 2026-10-16
- d-Matrix Corsair 机架正式出货，演示 H100+8 XPU 跑出 845 tok/s — ai · 2026-10-16
- Actual 实测 DGX Station 跑出 10k tok/s，推理引擎与 GB300 案例曝光 — natesiggard · 2026-10-16