哈佛提出 ReRound:低成本解决大模型量化精度损失

Harvard · hf · 2026-08-14

哈佛大学发布了 ReRound 量化技术,旨在解决大模型在无校准低比特量化中的中点歧义问题。

该方法利用条件扩散模型来引导接近中点的权重进行舍入,并通过匹配前导奇异值来筛选最佳候选值。这能在不增加推理开销的前提下,有效提升小型 LLM 在低比特量化后的准确性。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →