QUASAR 修正 QAT 高低精度错配：低位量化训练损失更低且零推理开销

arankomatsuzaki · x · 2026-10-17

转发的是 @counathe 对 QUASAR 方法的介绍。QAT（量化感知训练）在 2-4 bit 下虽能提升模型质量，但存在结构性优化问题：每一步收到梯度更新的是高精度隐含权重，而损失和梯度却在低位重建权重上计算——这正是推理时实际使用的权重。

这种错配导致训练动态次优、损失下限偏高。现有 QAT 方法（学习 scale、软到硬舍入、更好初始化）都未直接解决它。QUASAR 用一种简单且计算廉价的方式修正该错配：只改变前向传播中的权重重建映射，因此可与多数其他 QAT 方法叠加，不增加任何推理开销，在实验中损失持续低于所有 QAT 基线。