双 R9700 64GB 本地跑 Qwen3.8:全套 4 千欧,解码 111 tok/s
smallDeltaBigEffect · reddit · 2026-09-07
Reddit 用户晒出 2× AMD Radeon AI PRO R9700(32GB×2)本地推理主机的完整配置与首日跑分,全套约 4000 欧,比单张 RTX 5090 还便宜 1000 多欧。
- 配置:Ryzen 7500F、64GB DDR5 6400、Asus ProArt X870E,双卡 PCIe 5.0 x8;唯一问题是其中一张卡偏热,计划限功率 210W 并降压
- Qwen3.8-27B(Quark AWQ MXFP4,vLLM Radiance TP2):单流解码中位数 111.4 tok/s,ITL 1% low 77.9 tok/s,TTFT 81ms,131k 上下文,预fill 2k 达 4224 tok/s
- FP8 原生权重:87.6 tok/s,16k 上下文,8 并发序列
- Qwen3.8-Flash-Next(UD-IQ4XS GGUF,R9V fork 分层专家卸载):35.4 tok/s;意外发现 SATA SSD 卸载表现并不差
- 用途:深度研究、摘要、图像生成与轻度编码;下一步测试上下文退化与 KV 量化
为 AMD 双卡+vLLM 的性价比本地部署提供了详实参考数据。
「Infra」频道最新
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23
- 优化 PCIe 小消息 all-reduce 内核，DeepSeek-V4.1 推理解码提速 12% — AlpinDale · 2026-10-23
- 海上油气平台拟改建为 AI 数据中心，烧闲置天然气供算力 — clemnt · 2026-10-23
- 同为原生 UI:Swift 版 80MB 仅限 Mac,Zig 版 10MB 三端通吃 — jedisct1 · 2026-10-23
- 开源本地版 NotebookLM:SurfSense 全文档问答与文档编辑 Agent — FurtiveMirth · 2026-10-23