DeepSeek V4 Flash 本地无损运行，揭秘量化命名与精度差异
TheZachMueller · x · 2026-08-01
Unsloth AI 宣布 DeepSeek V4 Flash 0731 已支持本地运行，可在 168GB 内存上实现无损 4-bit 量化，110GB 内存上运行 3-bit 量化。
针对社区对量化命名的疑问，开发者 danielhanchen 解释称，由于 llama.cpp 缺乏原生 FP8 支持，因此采用了 Q8KXL（MXFP4+BF16，100% 无损）和 Q4KXL（MXFP4+Q80，96% 的 top-1 结果一致）等命名方式。他强调 FP8 并不等同于 Q80，认为将 FP8 视为无损是错误的。
所属事件:Unsloth发布DeepSeek V4 Flash 0731量化版，支持本地无损运行(5 条相关)→
「Infra」频道最新
- MediaTek 预计明年下半年推出 400G/448G SerDes IP — rwang07 · 2026-08-01
- 谷歌发布第八代TPU，性价比提升达80% — tekbog · 2026-08-01
- 自建机房跑 Kimi K3 回本要两年，云算力比想象中便宜 — Liu_eroteme · 2026-08-01
- DeepSeek 比 Opus 便宜数十倍，但 Opus 仍胜出 — mustafamhus · 2026-08-01
- K8s不适合智能体工作负载？一文解析为何Kubernetes是错误原语 — blaizedsouza · 2026-08-01
- 开源个人 AI 计算机项目：桌面级本地跑大模型 — dee_hw · 2026-08-01