论文：CKA-QAD 方法大幅提升 NVFP4 量化大模型推理与编码能力
Aaaaaaaaaeeeee · reddit · 2026-08-10
arXiv 论文《Beyond Output Matching》深入探讨了大型语言模型在低比特量化（如 NVFP4）环境下的精度恢复问题。
- 问题发现：传统的量化感知蒸馏（QAD）仅依赖 KL 散度匹配输出分布，这会掩盖模型内部表征的退化。尤其在经过强化学习后训练的模型中，内部激活几何会发生严重漂移，导致推理和编码任务性能瓶颈。
- 提出方案：作者提出了 CKA-QAD，一种基于 CKA（中心核对齐）的表征对齐方法。该方法通过在蒸馏过程中对齐层级 Gram 矩阵，添加轻量级正则化器来保持内部的表征几何结构。
- 实验效果：在 Nemotron 3 Nano 和 Qwen3-4B-Thinking-2507 模型上的实验表明，CKA-QAD 显著改善了表征对齐，并在适度的训练开销下提升了下游推理和编码任务的准确率。
「Infra」频道最新
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍 — zhyncs42 · 2026-10-16