DeepSeek V4 Flash 2-bit 量化版本地跑出 100% SQL 评测
grumd · reddit · 2026-08-04
开发者 grumd 在双卡 RTX 3080 + 96GB RAM 环境下，使用定制的 IQ2M GGUF 量化方案成功在本地运行 DeepSeek V4 Flash。
- 评测成绩：在贴近真实场景的 SQL benchmark 中，该模型成为首个能在本地运行并取得 100% 正确率的模型。此前榜单上只有 Opus 4.7 和 GPT-5.5 达到过满分。
- 推理优化：通过移植部分 tensor 并使用修改版的 ds4 推理引擎，跑出了 300pp 和 11-12 tg 的性能表现，远超原生 llama.cpp 的速度。
- 榜单对比：Qwen3.6-27B 和 Qwen3.5-122B 等其他主流本地量化模型得分均在 24 分及以下（满分 25）。
所属事件:DeepSeek V4 Flash 量化实测：低精度版本大幅提速且无损质量(2 条相关)→
「Infra」频道最新
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16
- Valtz 新版支持 FLUX.3，Mac 本地生图最高 4K 分辨率 — TgoAI · 2026-10-16
- 百度开源 FlashMask：长上下文训练最高比 FlashAttention-4 快 1.55 倍 — BaiduResearch · 2026-10-16
- 独立开发者 GYRO 量化实测：体积更小却达 ISTA Q3 水平 — PlasticRevenue4601 · 2026-10-16
- RL 训练系统已成前沿建模最复杂的基建难题,_best_方案是商业机密 — brianryhuang · 2026-10-16