ISTA 发布 DeepSeek-V4.1-Flash 极限量化版：2 比特性能不掉，单卡 12GB 可跑 763B 模型
Loginhe · reddit · 2026-10-24
奥地利 ISTA 深度算法与系统实验室（ISTA-DASLab）发布 DeepSeek-V4.1-Flash-1017 的 GSQ+RCO 量化 GGUF，将这个 763.2B 参数、每 token 激活 6/384 专家、1M 上下文的稀疏 MoE 模型压到 1.75–2.25 bpw。
发布内容
- 三个量化档：IQ1M（1.75 bpw，主干 120.7GB）、IQ2XXS（2.00 bpw，138.2GB）、IQ2XS（2.25 bpw，155.2GB）
- 一个所有构建共享的 Engram 查表文件（110.6GB，196.6B 参数，IQ4NL），只需下载一次，可常驻内存映射
- 所有构建均可在单张 12GB 显存的 NVIDIA GPU 上通过 Strata 运行，提供一键安装器和 OpenAI 兼容本地端点；llama.cpp 暂不支持
技术要点
- GSQ（Gumbel-Softmax 量化）：训练后标量量化，联合学习网格分配与组缩放，在低位宽下接近向量量化的效果，且兼容标准 GGUF
- RCO（黎曼约束优化）：直接对任务损失做梯度下降满足精确比特预算，为稠密路径和路由专家分别设定量化阶梯，免去逐约束调参
成绩（推理 effort=50）：IQ2XXS 在 AIME25（100.00）、GPQA-Diamond（90.91）、LiveCodeBench v6（89.71）上与基座完全持平，任务平均保留 100%；IQ1M 平均保留 98.7%。仓库附全部 1008 个张量的逐张量 RCO 分配方案。
「Infra」频道最新
- M3 Max 36GB 五引擎推理实测：Kapitsa 密集 41 tok/s 居首 — Hyungsun · 2026-10-24
- Ramjet 替换 nginx 使 domyn swarm 多 agent 会话提速最高 61% — DoggoProfessor959 · 2026-10-24
- 美光 G11 NAND:同面积容量翻倍,2027 下半年量产 — rohanpaul_ai · 2026-10-24
- PSA：从 SSD 流式读取 n-gram 表会实打实损耗 SSD 寿命 — Chromix_ · 2026-10-24
- Nebius Token Factory 上线缓存 Token:命中前缀自动按缓存价计费 — HowDevelop · 2026-10-24
- Pedro Domingos:Sam Altman 的胜负手是垄断算力 — pmddomingos · 2026-10-24