G²PTQ 融合一二阶梯度补偿，刷新 LLM 训练后量化精度
Ruikang Liu · hf · 2026-09-29
论文提出 G²PTQ，一个统一的 LLM 训练后量化（PTQ）框架，针对 GPTQ 系方法的两类互补缺陷：逐层局部目标缺乏全局监督；全局目标方法则在开始时固定 Hessian 估计、忽略一阶梯度，随量化推进指引逐渐失效。
方法
- 在全局监督的分块优化目标下融合一阶与二阶信息
- 每量化一个 Transformer 块前刷新梯度和 Hessian 估计，避免失效问题
- 引入信任域缩放机制动态约束梯度步长，防止权重更新爆炸
- 推导了分块 Hessian 近似与精确梯度补偿的高效实现
结果：在多个模型家族和位宽上与全精度模型对齐更好，超过现有 SOTA 基线，代码已开源。
「研究」频道最新
- Judea Pearl 推荐 Bareinboim 演讲：从经典因果到 LLM 时代因果 AI — yudapearl · 2026-09-29
- 异步 RL 数据采集中被忽视的坑:任务耗时差异导致采样偏置 — auto_grad_ · 2026-09-29
- 强化学习跨学科会议 RLDM 2027 定档巴黎,7月6-9日举行 — dabelcs · 2026-09-29
- SNaP 单步后验采样：比迭代方法快 30 倍以上 — prof_kamilov · 2026-09-29
- 无配对数据怎么训练？气候研究给出两阶段设计模式，偏差降 44-57% — bravo_abad · 2026-09-29
- MIT 团队用 AI 发现单原子层石墨烯的抗灾难失效设计原理 — ProfBuehlerMIT · 2026-09-29