Unsloth 用 351 亿 token 实测：GSQ-RCO 部分量化恢复率虚高
danielhanchen · reddit · 2026-11-02
Unsloth（danielhanchen）发布 DeepSeek-V4.1 GGUF 量化的对比实测，声称其 Dynamic v3.1 在 512K 上下文的 agent 类基准上比 GSQ-RCO 好 10-20%，并用远超以往的测试规模质疑 GSQ-RCO 的恢复率宣传。
方法升级：针对此前批评，把上下文从 32K 提到 512K（agent 任务）/128K（通用任务）；换用未饱和的 agentic 基准（Terminal Bench 2.1、DeepSWE v1.1、Automation Bench）；基准数据量从 13 亿 token 增至 351 亿（27 倍），AIME2025 跑 64 次、DeepSWE/TB 各 3 次；换用 Math Verify 等更可靠的评分器，Terminal Bench 用官方 Harbor 评分。
关键结论（配图显示 DeepSWE/TB/Automation Bench 上 GSQ-RCO 多数量化点明显低于 Unsloth 与 8-bit 基线）：
- GSQ-RCO IQ1M 宣称恢复 98.7%，实测 97.24% [96.23, 98.21]，p=0.0013，虚高显著
- IQ2XXS 宣称 99.80%，实测 98.38%，p=0.0001，「几乎不可能达标」
- IQ2XS 宣称接近 100%，实测 99.54%，统计上尚属可能
- 配对差值检验显示 IQ1M 在 AIME25/GPQA-D/LCB v6 上均显著低于官方基线
全部方法与数据公开于 unsloth.ai 文档；新 Dynamic 3.1 GGUF 已发布在 Hugging Face（unsloth/DeepSeek-V4.1-Flash-1017-GGUF），并邀请 GSQ-RCO 提供其测试细节以便复跑。
所属事件:Unsloth 发布 DeepSeek-V4.1-Flash GGUF,1-bit 量化跑分领先(3 条相关)→
「模型」频道最新
- Unsloth 反驳 GSQ-RCO：270 亿 token 复测仍领先 10-20%，对方拒公开方法 — danielhanchen · 2026-11-03
- 开发者自述 Claude 账号被封：自认未违规，复审需 10 天 — NathanpmYoung · 2026-11-03
- dbreunig：别把 OpenRouter 数据当成 AI 宏观趋势代表 — dbreunig · 2026-11-03
- 三大前沿模型测千条基因变异分类：拒绝、跑飞 token、几乎没得学 — _lewtun · 2026-11-03
- GPT-6 Astra 登顶机器人榜首,但双臂模拟 800 试仅 11 次完成 — minchoi · 2026-11-03
- Qwen 主管辟谣：Qwen 4.0 与 5.0 将继续开源到底 — ResearchCrafty1804 · 2026-11-03