NVIDIA Groq 3 LPX 长文本推理飙至 3431 tokens/秒
tomjaguarpaw · x · 2026-08-26
NVIDIA 发布技术博客，展示 Groq 3 LPX 加速器在 10 万上下文基准测试中的表现。其与 Vera Rubin NVL72 平台配合，在 Gemma 4 31B 模型上实现 3431 tokens/秒的输出速度，是现有公开端点近 4 倍。系统通过确定性编译器调度和细粒度计算通信重叠，有效降低延迟，支持多智能体系统的高交互长上下文需求。
所属事件:英伟达 Groq 3 LPX 全面量产，Nebius 首家上线(18 条相关)→
「Infra」频道最新
- 英伟达携手瑞典 Wallenberg，Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16
- 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16
- Cerebras 用异构 prefill 池喂晶圆级引擎，解码速度与 batch 解耦 — ai · 2026-10-16
- d-Matrix Corsair 机架正式出货，演示 H100+8 XPU 跑出 845 tok/s — ai · 2026-10-16
- Actual 实测 DGX Station 跑出 10k tok/s，推理引擎与 GB300 案例曝光 — natesiggard · 2026-10-16