176.9B 模型压到 1.89 有效 bpw,29.6GB 单卡跑 Coder 版
Loginhe · reddit · 2026-09-29
ISTA DASLab 发布 Qwen3.8-Flash-Next 的 GSQ+RCO 量化 GGUF,以及一个砍掉一半专家的 Coder 版本。原模型为稀疏 MoE:48 层、每层 512 个路由专家,176.9B 参数,BF16 下 354GB。
量化版本
- 4 个 GGUF:2.40–3.50 bpw(66.4–83.6GB),另附 BF16 视觉投影器。
- GSQ(Gumbel-Softmax 量化):训练后标量量化,联合学习网格分配与组缩放,低比特下逼近向量量化效果且兼容标准 GGUF。
- RCO(黎曼约束优化):用梯度下降在任务损失上强制满足精确预算,既为每个张量分配量化类型,也在 Coder 版中逐层选专家。
- 成绩:3.50 bpw 的 IQ3S(83.6GB)全面追平 BF16——AIME25 100.00,GPQA-Diamond 92.93(BF16 为 91.92),任务平均 93.26 vs 93.12;2.40 bpw 的 Q20 平均 78.00,反超 BF16 的 76.94。
Coder 版(专家剪枝)
- 每层保留 256/512 专家(RCO 按 KL 散度挑选),保留权重仍为 3.5 bpw,等效约 1.89 bpw(非单权重实际位宽)。
- n-gram 分片可放磁盘,常驻工作集仅 29.6GB,单张 32GB 卡可跑。
- SWE-bench Verified 75.60(保留 91.3%),LiveCodeBench v6 86.28(保留 98.7%)。
论文与代码均已开源,仓库含完整逐张量 RCO 分配方案。
「模型」频道最新
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- Nathan Lambert 点破 Ethan Mollick 榜单对比漏掉了 Kimi — natolambert · 2026-11-16
- Devin 构建中现 Anthropic 隐身模型,METR 图显示前沿速度提至 1.4 倍 — daniel_mac8 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 自托管实测:Unsloth Q8 量化版大幅优于默认 Q3,连夜跑完 331 份账单分析 — No_Cartographer3953 · 2026-11-16