个人项目 KLQ：无需训练的大模型量化新法，超越 SpinQuant
Federal-Setting-3014 · reddit · 2026-08-10
一位独立研究者在暑期项目中提出了一种名为 KLQ 的免训练量化方法。该方法在 W4A4KV4 量化配置下，超越了所有基于旋转的无训练量化方案，并在 Llama 3.2 1B 上逼近需要训练的 ReSpinQuant。
核心思路
传统量化通常使用旋转矩阵（如 Hadamard）强行抹平嵌入空间的不均匀性，或使用计算昂贵的可学习旋转。KLQ 则另辟蹊径：
- 测量而非抹平：它通过因果 KL 散度来测量嵌入空间的不均匀程度，对特征方向按重要性排序。
- 注水算法：将每个方向视为独立的信息传输通道，利用可证明最优的注水算法，为最重要的方向分配最多的位宽。
局限与代价
- 计算极其密集：量化需要对每层矩阵的每个方向进行前向传播扰动测试。在单张 3090 上，量化 Qwen 2.5 0.5B 耗时 5 小时，Llama 3.2 1B 耗时 10 小时。
- 缺乏真实内核：目前仅为理论框架和“伪”量化演示，未集成真实的推理内核。
作者表示发布此内容旨在寻求社区反馈与贡献。
「研究」频道最新
- UIST论文：生成式AI干预系统GUIDE减压效果显著 — Diyi_Yang · 2026-08-10
- PhyLatent: 优化 JEPA 世界模型表征，提升机器人控制成功率 — burny_tech · 2026-08-10
- CISPO后训练算法发布，提升模型对齐能力 — Sauers_ · 2026-08-10
- SR-JEPA：在 3D 场景中学习预测潜在状态 — burny_tech · 2026-08-10
- 多机构综述重塑「自我改进Agent」版图：快环探索，慢环固化 — 新智元 · 2026-08-10
- NanoGPT 训练提速新纪录:FP8 优化突破 73.8 秒 — kellerjordan0 · 2026-08-10