DeepSeek V4 Flash 3bit 量化版 3x3090 实测：119GB 占用
consultkitapp · reddit · 2026-08-02
发帖者分享了 DeepSeek-V4-Flash-0731-UD-Q3KXL 量化模型在 3 张 RTX 3090 显卡（总显存 72GB）上的 llama-bench 基准测试结果。
测试数据：
- 模型体积：119.40 GiB（约 284.33B 参数）。
- 提示词处理 (pp512)：速度约为 116.04 t/s。
- 文本生成 (tg128)：速度约为 7.71 t/s。
测试时使用了 21 层 GPU 卸载 (-ngl 21) 和层拆分模式 (--split-mode layer)。发帖者认为该量化版本的性能还有进一步压榨的空间。
所属事件:DeepSeek V4 Flash 本地部署潮(26 条相关)→
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16