混合 4 张 AMD 显卡本地跑大模型，推理速度达 11 t/s
Hyungsun · reddit · 2026-08-02
一位开发者在 Reddit 分享了使用混合 AMD 显卡组合（1 张 7900 XTX 24GB + 3 张 MI60 32GB）配合 128GB DDR4 内存，本地运行 DeepSeek-V4-Flash-0731 量化版的实测数据。
- 硬件配置：双路 Xeon E5-2650 v4 CPU，由于一张 MI60 损坏，被迫采用消费级与数据中心级混合的异构显卡方案。
- 推理性能：在未完全优化的 llama.cpp（ROCm 后端）下，Prompt 处理速度在 140 t/s 左右（64k 上下文时降至 85 t/s），生成速度稳定在约 11.9 t/s。
所属事件:DeepSeek V4 Flash 本地部署潮(26 条相关)→
「Infra」频道最新
- 作者实测 2×GB10 本地调优 GLM-5.3-Flash：解码速度提升近 20% — EAccelerate_42 · 2026-10-16
- 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- Amazon 发布生产级 RAG 缓存方案：逐请求校验证据复用，零无效命中 — _reachsumit · 2026-10-16
- LinkedIn 推出 TransX:推荐系统序列转导框架,CTR 提升 6.02% — _reachsumit · 2026-10-16
- llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速 — jacek2023 · 2026-10-16