Signal65 实测 MLPerf:Azure GB300 交互式推理吞吐超 26 万 tokens/秒
ryanshrout · x · 2026-11-10
NVIDIA 的 Ryan Shrout 转发 Signal65 对 MLPerf Inference v6.1 中 DeepSeek-R1 审核结果的分析,称大型 GPU 集群经测试验证后可提供超 26 万 tokens/秒的吞吐。
分析要点:
- 采用 Interactive 场景:要求首 token 延迟 ≤1.5s、每输出 token ≤15ms,最贴近对话与编码类推理工作负载。
- 核心论点:推理模型只有在响应足够快、不打断用户心流时才划算,而为保住响应时间每多加一块 GPU 都会推高服务成本。
- 在同代同数量 GPU 的对比中,Azure ND GB300 v6 在 Interactive 场景下领先(原文截断)。
这是关于各家云推理服务延迟-吞吐权衡的第三方审计分析,对选云部署推理模型有参考价值。
「Infra」频道最新
- Cerebras 发布 CS-4 工程纪录片，揭秘晶圆级 AI 系统设计全程 — draecomino · 2026-11-10
- Semi-Apocalypse 播客:市场恐慌、企业 AI 与 2028 GPU 过剩论 — BenBajarin · 2026-11-10
- Ben Bajarin：供应链瓶颈分析依然是 AI 行业主线 — BenBajarin · 2026-11-10
- Epoch AI 推出推理性能指数：GB300 对 H100 推理优势达 25 倍 — scaling01 · 2026-11-10
- 马里兰州活动人士征集 2.5 万签名,叫停 50 亿美元 AI 数据中心 — Polymarket · 2026-11-10
- 从自建 FastAPI 代理到专业 LLM 网关:何时该迁移 — Kev926 · 2026-11-10