4张R9700跑DeepSeek与Qwen：作者公开全部调优细节与实测吞吐
mikoskinen · reddit · 2026-11-13
作者分享在 4x AMD Radeon AI PRO R9700 + EPYC Rome 平台上用 EXL3 量化服务 DeepSeek 4.1 Flash(2.25bpw)和 Qwen Flash-Next(4.05bpw)的完整优化记录，目标是给 Claude Code 供数，输出与参考引擎逐字节一致。
实测成绩（16 并发解码）：DS4.1F 达 259 tok/s，QFN 达 1094 tok/s；prefill 方面 QFN 16k 冷提示 9540 tok/s（TTFT 1.7s），DS4.1F 128k 达 6140 tok/s。
关键软件优化
- DS4.1F 上层 20/40 层只读提示尾部：136k 冷提示 prefill 从 50.5s 降到 33.3s（-34%）
- 4 卡 exact all-reduce 改交错推送：42MB all-reduce 从 3.4ms 降到 2.5ms（-27%）
- QFN prefill 将 hyper-connection 阶段拆分到 4 卡：+5.7%
关键硬件优化
- 同容量 DIMM 组成一个 interleave set：8x64GB 使 CPU 读带宽从 35.9 提升到 104 GB/s
- 每卡独占 IO-die 象限（不共享 root port）：4 卡 host-to-GPU 拷贝从 61 到 105 GB/s
- 关闭 CPU 深度 C-states + performance governor：消除约 16% 随机降速
所有测试、profiling、编码均由 Claude Opus 完成，作者只负责投喂资料。完整清单开源在 GitHub r9700-exact-serving。
「Infra」频道最新
- kagent 1.0 GA:用 Agent Substrate 重做 Kubernetes 上的 Agent 运行层 — bibryam · 2026-11-13
- 瑞典全木数据中心：PUE 1.15，碳排放仅 1.17g CO2/kWh — filwi · 2026-11-13
- Strata EXL3 AMD 版提速 10-20%,3bit 量化跑出 4bit 质量 — nasone32 · 2026-11-13
- 花一个月云服务钱买台迷你主机，把 Agent 全部搬回本地跑 — jiayuan_jy · 2026-11-13
- 从 reform school 刷厕所到 5 万亿美元：黄仁勋六十年编年史 — tibo_maker · 2026-11-13
- 台积电披露遭黑客攻击,已向美国 SEC 提交事件说明 — gmays · 2026-11-13