NeUQI 只改初始化:2 比特 LLaMA 困惑度从 6953 降到 17

NeUQI: Near-Optimal Uniform Quantization Parameter Initialization for Low-Bit LLMs

Li Lin, Xinyu Hu, Xiaojun Wan

ICML 2026

cs.LG, cs.CL

2025-05-23

放开 Min-Max 的两条隐藏约束重做量化初始化,2 比特 LLaMA-2 70B 困惑度从破万降到 56,0.5M token 蒸馏即超 PV-tuning。

这篇在解决什么

开源 LLM 要跑进消费级显卡,主流路线是 PTQ(post-training quantization,训练后量化):不重训,把 bfloat16 权重直接压成 int4/3/2。其中均匀量化因硬件与推理库支持最广,是实际部署的首选。

近两年的低比特改进大多在变换权重分布上做文章(Hadamard 旋转、通道缩放),而量化参数 scale(格点间距)和 zero-point(零点偏移)的初始化,几乎所有人都还沿用 2017 年的 Min-Max 公式,拿权重最大最小值直接除出来。4 比特以上够用;到 2-3 比特,格点只剩几个,这个起点离最优解很远,后面再怎么优化都难救。

北大王选所这篇(ICML 2026)点破了 Min-Max 里两条没人质疑过的约束:其一,scale 和 zero-point 都被极值绑死,搜索类方法被迫在极值缩放系数上做二维网格,LeanQuant 这类做法要 T² 次评估(T 通常取 2048);其二,zero-point 被限制成 k 比特无符号整数,直接砍掉一块参数空间。NeUQI 两条都放开。

方法

NeUQI 沿用 GPTQ 的逐层损失,要求量化输出逼近原输出,再用对角 proxy Hessian 近似,把每行权重的损失写成按重要度加权的量化误差平方和。

关键一步在 zero-point。固定 scale 后,损失关于 z 是分段二次函数:每个权重的误差表达式只在 z 跨过舍入边界时改变,边界都是已知的半整数点。逐段枚举再对全部 n 个权重求和是平方级计算,n≈2048 时不可行,两个设计把复杂度压到 O(n log n):

zero-point 有了高效解,两变量问题退化成对 scale 的一维搜索:在 0 到 Min-Max scale 之间取 T=2048 个候选,先粗搜 64 个定位、再局部细化。z 同时允许取浮点,平均比特只多约 0.1(2 比特 g128 下 2.14→2.25),可用 double quantization 压回去。速度上,2 比特 LLaMA-2 7B 初始化一个 Q 矩阵从 112 秒降到约 0.026 秒,损失只多不到 0.3%。

结果

最难设置、2 比特 channel-wise,LLaMA-2 7B 上的数字:

方法Wiki2 困惑度↓五基准平均准确率↑
GPTQ695335.08
GPTAQ126934.97
MagR12939.54
NeUQI17.1447.24

模型越大差距越大:LLaMA-2 70B 2 比特下三个基线困惑度全部破万,NeUQI 是 56.21、准确率 46.49。LLaMA-3 8B 上 MagR 387、NeUQI 64.47。Qwen 2.5 72B 上 NeUQI 困惑度 10.79、准确率 67.21,好过 MagR 的 19.25 和 55.00。

配上轻量蒸馏(0.5M token、一个 epoch、对齐末层隐状态),2 比特 LLaMA-2 7B 的 Wiki2 到 8.38、C4 到 9.81,好于 PV-tuning 的 8.49 和 10.78;PV-tuning 用了 1B token,数据量差三个数量级。给 EfficientQAT 换 NeUQI 初始化同样有增益:LLaMA-3 8B 2 比特,Wiki2 从 9.80 到 8.87,准确率从 59.37 到 61.49。

3 比特给出一个实用结论:同样显存,量化的大模型打得过 BF16 的小模型。Qwen 2.5 72B 3 比特占 26.36 GiB,14B BF16 占 26.42 GiB,平均准确率 73.07 对 71.46,C4 困惑度 8.37 对 8.75。

为什么重要

初始化是被顺手继承了八年的默认值,这篇把它单独拎出来做成可复用组件:能接 GPTQ 流水线,能与 Hadamard 变换叠加(W2A4 下 Wiki2 13.63,比 MagR 的 20.42 低约三分之一),也能直接当 EfficientQAT 这类强 QAT 方法的起点。对做本地部署的人,2 比特从「基本不可用」推进到「能跑」,3 比特是「同显存换大模型」的位置。

更硬的一条结论:坏的初始化靠重训救不回来。PV-tuning 花 1B token 联合优化连续与离散参数,还是输给了好起点加 0.5M token 蒸馏。继续卷低比特量化的团队,起点值得先换掉再谈别的。

局限与存疑

术语

原文与代码

社区讨论

相关论文

全部论文解读