英伟达发布压缩优化模型 Nemotron Puzzle-75B

jacek2023 · reddit · 2026-07-07

英伟达在 Hugging Face 发布 Nemotron-Labs-3-Puzzle-75B-A9B,一款面向部署优化的新大模型,由 Nemotron-3-Super-120B-A12B 经「迭代 Puzzle」后训练压缩框架压缩而来。模型采用混合 MoE 架构,交织 Mamba、MoE 与 Attention 层,并支持多 token 预测(MTP)。压缩后总参数从 120.7B 降至 75.3B,激活参数从 12.8B 降至 9.3B。

官方称在 8×B200 节点上吞吐量约为原模型 2 倍,单 H100 上 100 万 token 并发从 1 提升到 8,且在推理、编程、多语言、长上下文与 agent 基准上保持精度。支持英、法、德、意、日、西、中七种语言,已开放商用,技术细节见 arXiv 报告。