NVFP4:英伟达押注 FP4 训练 LLM 的精度与稳定性秘诀

bycloud · youtube · 2026-09-22

bycloud 发布视频详解英伟达力推的 NVFP4 低精度格式:为什么用 FP4 训练大模型远不止「少用几个比特」那么简单。视频拆解了让 FP4 训练保持稳定的系列技巧,包括随机舍入、二维缩放(2D block scaling)、混合精度策略等,并说明英伟达为何围绕低精度设计即将到来的 Vera Rubin GPU。内容基于多篇一手资料:《Pretraining Large Language Models with NVFP4》(arXiv:2509.25149)、NVIDIA 的 NVFP4 量化感知蒸馏(QAD)报告、Nemotron 3 白皮书与 Nemotron 3 Ultra 技术报告,以及 DeepSeek-V4 论文。核心结论:低精度是英伟达应对算力与带宽瓶颈、压低训练与推理成本的主线战略,而这些训练技巧让 FP4 从推理量化方案真正走进了预训练。