深度访谈 NVIDIA Nemotron 3 Ultra:为何「更快的模型就是更聪明的模型」

yacinelearning · x · 2026-10-06

作者发布与 NVIDIA Nemotron 团队高级产品研究工程师 Chris 的约 1.5 小时访谈,围绕开源模型家族 Nemotron 的工程取舍展开。核心结论是 Nemotron 3 Ultra 的所有设计决策都围绕「快」和高效长上下文:话题涵盖 Latent MoE 的 tradeoff、激进 GQA 的原因、shared weight MTP 与 MOPD 的原理、长上下文放模型内还是 harness 内、开源生态,以及 reward hacking 趣事和给本科生的建议。附完整时间戳目录。