解析NVIDIA NVFP4预训练方案
nrehiew_ · x · 2026-07-13
推文解析了 NVIDIA 的 NVFP4 预训练方案，指出该方案主要借鉴了此前 Nemotron 的相关工作：
- Hadamard 变换：应用于权重梯度计算，以减少异常值的影响。
- 选择性高精度：部分层（如最终层）保持高精度，因为它们需要比 FP4 更大的动态范围和尾数。
- 随机舍入：在梯度计算中采用随机舍入而非确定性舍入，以防止偏差。
为验证该方案，团队训练了高达 16T tokens 的较小模型，结果显示其与 BF16 基线相比，仅有约 0.4% 的相对训练损失差距。
所属事件:NVIDIA NVFP4 量化与预训练方案原理深度解析(2 条相关)→
「Infra」频道最新
- AI 消耗量分三波浪潮：2026 年 2 月 Agent 用量已超人类 — AccBalanced · 2026-09-11
- 英伟达已成主流 Robotaxi 栈核心：训练仿真车载计算全覆盖 — pdamodaran · 2026-09-11
- AI 工程师必懂的 12 种 KV Cache 压缩技术一文讲透 — blaizedsouza · 2026-09-11
- 影子算力市场走向台前,Meta 对外出售过剩 GPU 算力成标志性信号 — DavidLinthicum · 2026-09-11
- Engram 随机读取不适合 SSD，CPU 内存低延迟共享或成正解 — bookwormengr · 2026-09-11
- RunningHub 开源 H3Lightning：MiniMax H3 视频生成提速约 12 倍 — 智东西 · 2026-09-11