KronQ：基于Hessian的LLM量化
UniversityofSouthernCalifornia · hf · 2026-07-13
KronQ 是一个用于大语言模型后训练量化（PTQ）的新框架，核心思路是把**梯度协方差**纳入量化流程，而不仅仅依赖输入激活统计。 ### 主要改进 - 在 Kronecker-factored Hessian 近似下，量化损失同时受**激活协方差**和**梯度协方差**影响。 - 提出**双向不相干处理**：除了常见的输入侧随机旋转，还利用梯度协方差扩展到输出维度，以降低输入/输出两个方向上的权重幅度方差。 - 还推导了一个用于**层间混合精度分配**的新敏感度指标，依据梯度与激活 Hessian 的迹来决定不同层的量化精度。 ### 结果 在 LLaMA-3-70B 的 **2-bit weight-only quantization** 上，GPTQ 和 GPTAQ 会发散或出现退化量化（WikiText-2 困惑度超过 2000），而 KronQ 达到 **7.93 perplexity**。