双卡 RDNA2/3 + 96GB DDR4 跑 DeepSeek:峰值 19t/s,均速 9t/s
EmPips · reddit · 2026-10-23
Reddit 用户分享了在纯 AMD 消费级硬件上本地运行 DeepSeek 大模型的实测:3950x CPU、96GB DDR4-3000、7900xtx 24GB + w6800 32GB(合计 56GB 显存)、PCIe Gen3 NVMe。
- 权重为 iq2 量化 + Q6 ngrams,磁盘占用约 350GB,Dspark 开启。
- 性能波动大:峰值 19t/s,通常 13t/s,I/O 时掉到 3t/s;长 prompt 结束后平均解码 9t/s,prefill 约 150t/s。
- 模型评价「聪明得离谱」,胜过其之前跑的 Qwen3.8-Flash-Next iq4-xs 量化版,但思考量极大,加上 9t/s 的均速,日常只适合聊天用途。
「Infra」频道最新
- Liquid Inference 上线算力预订:1-12 个月锁价买 token,供应商实时竞标 — AccBalanced · 2026-10-23
- MiniMax H3 视频生成登陆日本 ai& 平台,最低每秒 $0.0125 — DavidBennett__ · 2026-10-23
- Liquid Inference 推理网络两周扩至 50 家供应商,全量报价前沿开源权重模型 — AccBalanced · 2026-10-23
- nanoGPTJAX 将支持 Blackwell 多节点训练,作者预告改造计划 — A_K_Nain · 2026-10-23
- MiniMax 携手 Inferact 做 M3.1 Flash 生产级推理,反哺 vLLM — vllm_project · 2026-10-23
- DeepSeek 4.1 Flash 上 DGX Station 实测:本地跑出约 80 tokens/秒 — MatthewBerman · 2026-10-23