3张MI50实测本地运行DeepSeek V4：速度达15 t/s
Kamal965 · reddit · 2026-08-02
开发者成功在 3 张 AMD MI50 显卡（96 GB VRAM）上，使用 UD-IQ2M 量化格式完整加载了 90.9 GB 的 DeepSeek V4-Flash-0731 模型。
性能表现：
- 文本生成：稳定在 15-16 t/s，即便输出长达 30K token 也未跌破 14 t/s。
- Prompt 处理：速度约 105-110 t/s。
能力测试：
作者使用一段复杂的 3D 魔方 Canvas 动画提示词进行了代码生成测试。尽管模型在常识上出现了一点小失误（混淆了显存带宽与 PCIe 4.0 带宽），但作者对能在本地跑起该模型并保留调用 API 的备选方案感到非常惊艳。
所属事件:DeepSeek V4 Flash 本地部署潮(26 条相关)→
「Infra」频道最新
- 作者实测 2×GB10 本地调优 GLM-5.3-Flash：解码速度提升近 20% — EAccelerate_42 · 2026-10-16
- 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- Amazon 发布生产级 RAG 缓存方案：逐请求校验证据复用，零无效命中 — _reachsumit · 2026-10-16
- LinkedIn 推出 TransX:推荐系统序列转导框架,CTR 提升 6.02% — _reachsumit · 2026-10-16
- llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速 — jacek2023 · 2026-10-16