DeepSeek-V4-Flash 自定义 IQ3 量化方案：多卡混插提升 40% 解码速度
HockeyDadNinja · reddit · 2026-08-02
开发者针对多 GPU 混合且显存溢出至内存的设备，分享了一套 DeepSeek-V4-Flash-0731 的自定义量化方案（GGUF）。
量化策略
仅对 129 个路由专家张量进行重新量化（降至 IQ3XXS，下投影保持 IQ3S），其余张量（如注意力、共享专家等）保留原始高精度。最终模型大小为 111.37 GiB。
质量与性能对比
- 质量：与 unsloth 的 UD-IQ3S 相比，该方案的 KLD（0.2386 vs 0.2936）和 top-1 一致性更好，但体积略大且最大 KLD 略差。
- 速度：在 5 卡混合（96GB VRAM，专家溢出至 CPU）设备上，解码速度达到 13.91 t/s，比原始 MXFP4 版本快约 1.4 倍。
作者指出，如果纯粹追求速度，更小的 Q2 版本表现更好（30.27 t/s）。此外，DeepSeek-V4-Flash 在 llama.cpp 中存在已知的 SWA 和回滚停顿问题，需使用非官方修复版才能正常运行。
所属事件:DeepSeek V4 Flash 本地部署潮(26 条相关)→
「Infra」频道最新
- 作者实测 2×GB10 本地调优 GLM-5.3-Flash：解码速度提升近 20% — EAccelerate_42 · 2026-10-16
- 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- Amazon 发布生产级 RAG 缓存方案：逐请求校验证据复用，零无效命中 — _reachsumit · 2026-10-16
- LinkedIn 推出 TransX:推荐系统序列转导框架,CTR 提升 6.02% — _reachsumit · 2026-10-16
- llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速 — jacek2023 · 2026-10-16