实测 3431 tokens/s：NVIDIA Groq 3 LPX 跑 Gemma 4 31B 创输出速度纪录
ArtificialAnlys · x · 2026-08-25
Artificial Analysis 在 NVIDIA 授予的早期私有部署上实测 Groq 3 LPX「交互式 AI 推理」机架（已全面投产、年内投入运营），运行 Gemma 4 31B 时在 1 万和 10 万输入长度下均测得约 3,400 tokens/s 的中位输出速度（50 次串行请求），这是该模型在公开或私有端点上的最高 10 万上下文输出速度，且长上下文性能稳定。
所属事件:英伟达 Groq 3 LPX 全面量产，Nebius 首家上线(18 条相关)→
「Infra」频道最新
- 英伟达携手瑞典 Wallenberg，Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16
- 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16
- Cerebras 用异构 prefill 池喂晶圆级引擎，解码速度与 batch 解耦 — ai · 2026-10-16
- d-Matrix Corsair 机架正式出货，演示 H100+8 XPU 跑出 845 tok/s — ai · 2026-10-16
- Actual 实测 DGX Station 跑出 10k tok/s，推理引擎与 GB300 案例曝光 — natesiggard · 2026-10-16