4bit量化训练：缩放表示范围并选择最小误差方案

nrehiew_ · x · 2026-07-13

在4bit量化训练中，下一步是将表示范围缩放到±4，以减小最大相对误差。对于激活和权重，分别计算两种方案并选择表示误差最小的。由于计算开销大，需要内核技巧优化。