ISTA 发布 763B 模型 1 比特压缩版:剪掉一半专家,性能保留 95%+
Loginhe · reddit · 2026-11-02
ISTA DASLab 发布 DeepSeek-V4.1-Flash-1017 的 Coder 压缩版(GSQ-RCO),原模型为 763.2B 参数稀疏 MoE(每层 384 个路由专家、每 token 激活 6 个)。要点:
- 专家剪枝:每层保留 192/384 个专家,transformer 权重仅 72.1 GB(未剪枝 IQ2XXS 为 138.2 GB),按原模型计约 1.05 bit/参数;保留的 280.1B 参数平均 2.06 bit,无权重低于 1 bit。
- 技术:GSQ(Gumbel-Softmax 量化)联合学习网格分配与组缩放;RCO(黎曼约束优化)以梯度下降在任务损失上精确执行每层等额预算(因 GGUF 要求各层专家数一致),以 KL 散度对齐未剪枝模型。
- 成绩:LiveCodeBench v6 得 88.57(原模型 89.71,保留 98.7%);SWE-bench Verified 得 77.00(原 81.20,保留 94.8%),长程 agent 任务损耗更大。
- 共享 Engram 文件(110.6 GB)与视觉投影器复用未剪枝版,可运行于 llama.cpp b11870+ 与 Strata。GSQ/RCO 论文与代码均已开源。
「Infra」频道最新
- llama.cpp 新 PR 修复统一 KV cache，本地多 agent 推理显著提速 — jacek2023 · 2026-11-03
- Gary Marcus 晒图：CoreWeave 股价半年暴跌 57.88% — GaryMarcus · 2026-11-03
- Pinokio 推「Remote AI」更新，本地 AI 可远程调用 — cocktailpeanut · 2026-11-03
- Pinokio 更新上线 Remote 功能，本地 AI 应用可远程操控 — cocktailpeanut · 2026-11-03
- Starcloud-1 太空运行一周年:全球唯一在轨 H100 曾完成太空训练 — ycombinator · 2026-11-03
- 华尔街新叙事：超大规模云商 2027 年底转正自由现金流 — inductionheads · 2026-11-03