花 1.6 万加元装 4 卡 R9700 推理服务器，8 用户 128K 上下文实测数据出炉
Anarchaotic · reddit · 2026-11-09
Reddit 用户晒出为业务搭建的 4 卡 AMD Radeon AI PRO R9700 本地推理服务器（总成本约 1.6 万加元），用于处理敏感数据的 Qwen3.8-Flash-Next 推理。
硬件：EPYC 7402P + 128GB DDR4 + 3x Gigabyte + 1x XFX R9700（均限 210W），Seasonic 1600W，Phanteks 大机箱；二手 CPU/主板来自 eBay。
初步基准（tp4，Radiance v1.17，FP8 KV cache，MTP 3 token 投机解码）：
- 单用户写作约 190 tok/s；prefill 总吞吐约 6,800 tok/s，与用户数无关。
- 8 用户各带 128K 上下文时，agent 后续追问 0.2–2.5s 出首 token，每用户 80–225 tok/s。
- 最坏情况：8 人同时发全新 128K 提示，首 token 约等 2.5 分钟。
- 模型权重 17.4 GiB/卡，47.7 GiB n-gram/PLE 表钉在主机内存，KV cache 每卡 11.6 GiB（160 万 token，8 个 200K 会话）。
作者称相比此前用的 Strix Halo 395+128GB 是大升级，满载噪音比空气净化器还小。
「Infra」频道最新
- 为 Agent 而生的 3D 引擎 Vork:渲染比 Blender 快 24 倍 — ravisparikh · 2026-11-09
- Akamai 78 分险胜 Cloudflare 76 分：估值差近 13 倍的边缘双雄对决 — pdamodaran · 2026-11-09
- Claude/Codex 额度用光后,他自建 vLLM 本地跑 Qwen 模型供 Agent 使用 — alfcnz · 2026-11-09
- AGI House 个人智能体黑客日：主打本地推理与每瓦智能 — agihouse_org · 2026-11-09
- Agentic AI 本质是编排调用，瓶颈或推动端侧小模型兴起 — DavidLinthicum · 2026-11-09
- 网友玩梗「被蒸馏」：黄仁勋同框照配华为挑战英伟达新闻截图 — StephanSturges · 2026-11-09