DeepSeek V4 Flash 本地部署潮

DeepSeek-V4-Flash-0731 发布后，社区迅速在 NVIDIA、AMD、Mac 和 DGX Spark 上做本地实测。结论是：它已能在个人硬件上跑起来，但速度差异极大，量化、后端、投机解码与内存带宽往往比“显卡型号”更决定体验。

已确认

• NVIDIA 侧从单张 RTX 3090 到专业卡、多卡都已跑通：未优化 3090 只有 4.02 tok/s，OkNinja7526 的 3090 24GB + 128GB DDR5 可到 12.5 tok/s，RTX A6000 + 256GB DDR4 跑 Q8 约 17.2 tok/s；3×3090 跑 UD-Q3KXL 占用 119GB，RTX PRO 6000 Max-Q eGPU 为 44-59.5 tok/s，2× RTX PRO 6000 Blackwell 用 DSpark 投机解码测到 243 tok/s 中位数。
• 优化和平台差异同样显著。HockeyDadNinja 只重算 129 个路由专家张量到 IQ3XXS，称混合多 GPU 解码提速 40%；fragmentme 用 5 张消费级卡全显存加载后，Prompt 处理仍只有约 600 t/s。AMD 方案里 3×MI50 达 15 tok/s、7900 XTX + 3×MI60 达 11 tok/s；Mac 侧 M1 Ultra 128GB 打补丁后从 5-6 tok/s 升至 15-16 tok/s，512GB M3 Ultra 跑 mxfp4 约 37 tok/s。DGX Spark 上，3bit 版为 16.5 tok/s，2-bit 版可装下 155GB 模型。

尚未确认

• MiaAI 经 pbaylies 转发称，单台 DGX Spark 在 agentic 工作流里 12 并发聚合吞吐量可到 58.5 tok/s 并超过双卡 vLLM；Lucebox 也宣称其与 AMD 的异构消费级方案在完整 284B 模型上做到 51.1 tok/s。两者都缺少当前簇内的独立复现。

为什么重要

这波实测说明，前沿 MoE 模型的本地部署门槛正在下降，但“能跑”不等于“好用”，Prompt 吞吐、统一内存或系统内存带宽和软件栈优化仍是关键。

2026-08-01 ~ 2026-08-03 · 26 条相关

事件全程(共 15 集)→

• 第 1 集:DeepSeek-V4-Flash架构曝光：主打百万上下文(2026-07-31,3 条)
• 第 2 集:Unsloth发布DeepSeek V4 Flash 0731量化版，支持本地部署(2026-07-31,6 条)
• 第 3 集:DeepSeek配华为芯推理利润率反超OpenAI(2026-08-01,2 条)
• 第 4 集:DeepSeek-V4-Flash前端编码惊艳，性价比远超同档模型(2026-08-01,3 条)
• 第 5 集:DeepSeek V4前瞻：Flash引入四级推理强度(2026-08-01,2 条)
• 第 6 集:DeepSeek历代模型训练算力成本大幅下降(2026-08-01,2 条)
• 第 7 集:DeepSeek V4-Flash API公测，Agent能力大幅提升(2026-08-01,5 条)
• 第 8 集:DeepSeek V4-Flash成本低105倍引热议，稳定性与基准过拟合存疑(2026-08-01,17 条)
• 第 9 集:DeepSeek V4 Flash 本地部署潮(2026-08-01,26 条)
• 第 10 集:DeepSeek V4 Flash 量化实测：低精度版本大幅提速且无损质量(2026-08-04,2 条)
• 第 11 集:单卡RTX 5090成功跑满DeepSeek百万上下文(2026-08-04,2 条)
• 第 12 集:DeepSeek-V4-Flash 登顶性价比前沿，运行成本远低竞品(2026-08-05,4 条)
• 第 13 集:DeepSeek V4 Flash跑分曝光，性能反超Pro版(2026-08-05,3 条)
• 第 14 集:DeepSeek V4 Flash登顶ARC-AGI性价比，成本仅GPT-5.6四分之一(2026-08-08,9 条)
• 第 15 集:实测双机集群运行 DeepSeek V4 Flash 完美通过 22 项编码测试(2026-08-10,2 条)

• 单张 3090 极限跑 DeepSeek V4：每秒生成 4 tokens — Altruistic_Heat_9531 · 2026-08-01
• 双卡 RTX 6000 实测 DeepSeek：投机解码跑出 243 tok/s — TheZachMueller · 2026-08-02
• 双机 DGX Spark 实测跑满 DeepSeek v4 Flash — andrewchen · 2026-08-02
• 双 3060 外加 96GB 内存跑 DeepSeek 实测：速度与功耗成本一览 — esw123 · 2026-08-02
• 多卡满载部署 DeepSeek V4，Prompt 处理速度仅 600 t/s — fragment_me · 2026-08-02
• 本地跑 DeepSeek V4-Flash：双卡 RTX 6000 实测仅支持单人使用 — dee_hw · 2026-08-02
• DeepSeek V4 Flash 3bit 量化版 3x3090 实测：119GB 占用 — consultkitapp · 2026-08-02
• DeepSeek 新发布大幅提升 Nvidia DGX Spark 本地部署价值 — firstadopter · 2026-08-02
• 【源头】RTX 3090 跑 DeepSeek-V4-Flash：128GB 内存 + 特殊参数实现 12.5 tok/s — Ok_Ninja7526 · 2026-08-02
• DeepSeek-V4-Flash 在 RTX PRO 6000 eGPU 上跑出 44-59.5 tok/s 解码速度 — backslashHH · 2026-08-02
• 【源头】DeepSeek-V4-Flash 自定义 IQ3 量化方案：多卡混插提升 40% 解码速度 — HockeyDadNinja · 2026-08-02
• 3张MI50实测本地运行DeepSeek V4：速度达15 t/s — Kamal965 · 2026-08-02
• DeepSeek v4 Flash 单块 DGX Spark 跑赢双卡，agentic 工作流性能反超 — pbaylies · 2026-08-02
• DeepSeek-V4 本地实测：A6000+256GB 内存跑 17 t/s — USBhost · 2026-08-02
• 双 DGX Spark 搭配 DeepSeek V4 Flash：实现前沿模型本地运行 — lifebypixels · 2026-08-02
• 双卡跑满 DeepSeek V4-Flash 百万上下文：并发提升 1.5 倍 — dee_hw · 2026-08-02
• 混合 4 张 AMD 显卡本地跑大模型，推理速度达 11 t/s — Hyungsun · 2026-08-02
• 两台 DGX Spark 跑智能体编码：日处理 1 亿 token 的经济账 — HarveenChadha · 2026-08-02
• Mac本地跑大模型：M2 Ultra 192G长文本推理实测 — Badger-Purple · 2026-08-02
• 【源头】单台 DGX Spark 跑满 DeepSeek V4 Flash 155G：2-bit 量化与 MTP 提速实测 — Puzzleheaded_Base302 · 2026-08-03
• M3 Ultra 跑 DeepSeek V4 速度达 37 t/s — mishig25 · 2026-08-03
• M1 Ultra 128GB 实测：补丁让本地 DeepSeek V4 提速至 16 tok/s — mil_phickelson · 2026-08-03
• DGX Spark 本地跑大模型实测：DeepSeek V4 Flash 夺魁 — andersonbcdefg · 2026-08-03
• DeepSeek-V4-Flash单机推理实测：6.5GB模型实现48.9 tok/s — max_paperclips · 2026-08-03
• 异构硬件逆袭：Lucebox 本地跑 DeepSeek 速度超 DGX Spark 3.6 倍 — samsja19 · 2026-08-03
• 双卡 RTX 6000 Pro 即可本地跑满 DeepSeek 1M 上下文 — dee_hw · 2026-08-03