DeepSeek-V4-Flash 在 RTX PRO 6000 eGPU 上跑出 44-59.5 tok/s 解码速度
backslashHH · reddit · 2026-08-02
Reddit 用户 backslashHH 分享了在 Bosgame M5 迷你主机搭配 RTX PRO 6000 Max-Q eGPU 上运行 DeepSeek-V4-Flash-0731 的实测数据。使用 llama.cpp 和 DSpark 草稿模型，不同量化下的解码速度：UD-Q8KXL 为 44.0 t/s，UD-Q4KXL 为 48.4 t/s，UD-Q2KXL 为 59.5 t/s（无草稿模型）。Prefill 速度分别为 564、585、1513 t/s。帖子还提供了详细的启动命令和层分配配置。
所属事件:DeepSeek V4 Flash 本地部署潮(26 条相关)→
「Infra」频道最新
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16
- Valtz 新版支持 FLUX.3，Mac 本地生图最高 4K 分辨率 — TgoAI · 2026-10-16
- 百度开源 FlashMask：长上下文训练最高比 FlashAttention-4 快 1.55 倍 — BaiduResearch · 2026-10-16
- 独立开发者 GYRO 量化实测：体积更小却达 ISTA Q3 水平 — PlasticRevenue4601 · 2026-10-16
- RL 训练系统已成前沿建模最复杂的基建难题,_best_方案是商业机密 — brianryhuang · 2026-10-16