4bit量化训练与Nemotron细节更新

开发者分享了关于4bit量化训练的技术细节与Nemotron模型的量化策略更新。在4bit量化中，通过将表示范围缩放至±4以减小最大相对误差，并对激活和权重分别计算以选出最小误差方案，但这需要内核技巧来优化计算开销。此外，Nemotron的量化策略保留了最后15%的部分及shared expert在bf16精度，以平衡性能与模型质量。

2026-07-13 ~ 2026-07-13 · 2 条相关