量化模型之争再起:ISTA-DASLab 基准遭质疑,unsloth 反超

TingTingin · reddit · 2026-11-07

本地 LLM 量化社区再现基准争议。ISTA-DASLab 的 gsq-rco 量化版本被 unsloth 质疑无法复现其基准数字,且方法论未公开。basalt 推理引擎作者此前用 ISTA-DASLab 量化做基座,实测后换成了同尺寸的 unsloth 版本。配图测试显示:Qwen3.8-Flash-Next 上 unsloth UD-IQ1M 的 KL 散度 0.2560 对 gsq-rco Q20 的 0.4329(低 40.9%),top-1 一致率 83.19% 对 78.24%,困惑度也更低,即 unsloth 量化更接近 BF16 原模型。