DeepSeek V4 Flash 本地无损运行，揭秘量化命名与精度差异
TheZachMueller · x · 2026-08-01
Unsloth AI 宣布 DeepSeek V4 Flash 0731 已支持本地运行，可在 168GB 内存上实现无损 4-bit 量化，110GB 内存上运行 3-bit 量化。
针对社区对量化命名的疑问，开发者 danielhanchen 解释称，由于 llama.cpp 缺乏原生 FP8 支持，因此采用了 Q8KXL（MXFP4+BF16，100% 无损）和 Q4KXL（MXFP4+Q80，96% 的 top-1 结果一致）等命名方式。他强调 FP8 并不等同于 Q80，认为将 FP8 视为无损是错误的。
所属事件:Unsloth发布DeepSeek V4 Flash 0731量化版，支持本地部署(6 条相关)→
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16