NVIDIA 公布 Qwen3.8-2.4T 模型部署方案：GB300 显卡吞吐超 4000 tokens/s
PyTorch · x · 2026-08-21
NVIDIA 发布技术博客，详细介绍如何在其 NVIDIA GB300 NVL72 平台上部署阿里巴巴最新发布的开源大模型 Qwen3.8-2.4T-A95B。
- 模型规格：该模型拥有 2.4 万亿总参数，每个 token 激活 950 亿参数，采用 MoE 架构与混合注意力机制，支持 100 万 token 上下文。
- 部署性能：在未进行额外调优的情况下，模型在 FP8 精度下可实现每块 GPU 超过 4000 tokens/s 的吞吐量，每用户超过 350 tokens/s。
- 工程实践：开发者可以使用 PyTorch 原生微调库和 NVIDIA NeMo AutoModel，直接在现有检查点上进行 SFT 或 LoRA 微调，无需模型转换。
「Infra」频道最新
- 黄仁勋做客 BG2 播客:谈 AI 收入能否撑起 Capex 与 2027 瓶颈 — elonmusk · 2026-10-16
- Mistral 本地推理基建机架曝光:DGX Spark、Mac Studio 等混搭 — gregmushen · 2026-10-16
- 英伟达携手瑞典 Wallenberg，Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16
- 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16
- Cerebras 用异构 prefill 池喂晶圆级引擎，解码速度与 batch 解耦 — ai · 2026-10-16