Unsloth 打脸第三方量化成绩:DeepSeek-V4.1-Flash 1bit AIME25 实为 91.88% 而非 100%
danielhanchen · x · 2026-10-30
Unsloth 发布 DeepSeek-V4.1-Flash-1017 的 v3.1 GGUF 动态量化版本,并公布了与 GSQ-RCO 量化的对比基准。
关键发现:
- 无法复现 GSQ-RCO 的数字:1bit 的 AIME25 实测 91.88%,而非其宣称的 100%;LiveCodeBench 和 GPQA 的宣称成绩同样不实。
- 针对「KLD 不是好指标、可被刷」的说法,作者回应:量化的首要目标就是在最小化 KLD 的同时最小化磁盘占用,KLD 为 0 即意味着量化模型与 16bit 完全一致。
- 测试覆盖 AIME25、Aider Polyglot、LiveCodeBench v6、HMMT 2026、GPQA Diamond、MMLU-Pro、IFEval,并记录推理长度:发现低比特量化模型的思考长度会更长一些。
- 配图显示 Unsloth v3.1 在六项基准平均分、AIME25、GPQA-Diamond、LiveCodeBench 上均领先 GSQ-RCO 实测值,可在 64GB+ 内存设备运行。
所属事件:Unsloth称无法复现GSQ-RCO量化成绩(2 条相关)→
「模型」频道最新
- NVIDIA Nemotron 3.5 Super 发布:120B/12B 激活参数,SWE-bench Pro 得 51.78% — dair_ai · 2026-10-30
- Bonsai 把 Qwen 27B 从 55.6GB 压到 5.9GB，保留 98.2% 跑分 — nicolechirps · 2026-10-30
- NVIDIA 发布 Nemotron 3.5 Super/Lightning：MoE 混合 Mamba-Transformer 开源模型 — kalyan_kpl · 2026-10-30
- 实测:从 LTspice 文件生成电路图,Claude 明显胜过 ChatGPT — cneuralnetwork · 2026-10-30
- 梗图成真:DeepSeek 领衔的开源模型 Q3 出现 21 次,超此前所有季度总和 — Jsevillamol · 2026-10-30
- Polymarket:Google 年底领跑 AI 竞赛概率升至 59% — Polymarket · 2026-10-30