双 R9700 本地跑 Qwen3.8-Flash-Next:解码 176 tok/s、预填充 6450 tok/s
Athabasco · reddit · 2026-10-15
Reddit 用户用双 AMD Radeon AI PRO R9700（各 48GB）+ 64GB DDR5 的新装机，跑 Deadcode 的 Radiance 推理引擎和 Q4 量化的 Qwen3.8-Flash-Next（fp8-iq4r-moe，200K 上下文），实测：
- 综合解码吞吐 175.8 tok/s（batch=1 中位，跨类别加权）
- 64K token 预填充中位 6,453 tok/s
- 单流 TTFT P50 约 74ms，流式更新 P99 17.8ms
- 8 并发下聚合 448.8 tok/s，48/48 请求全部成功
按类别看 、math、summarization 最高（约 200+ tok/s），chat 最低。作者公开了完整配置单、Radiance 引擎（codeberg 开源）和 BetterBench 测试工具，是 AMD 消费级双卡本地推理的一份可复现参考。
「Infra」频道最新
- vLLM 携手 NVIDIA 用 wideEP 优化 GB300 NVL72,TCO 性能领先 7.2 倍 — woosuk_k · 2026-10-15
- 模拟1050万种场景对比AI芯片位置验证方案的成本效益 — chrisrohlf · 2026-10-15
- CoreWeave 债券遭抛售次日，Neocloud 板块单日暴跌 12% — SumitGup · 2026-10-15
- TRELLIS.2 图生 3D 完整 1536 分辨率跑进 16GB 显存 — over-yonder-tech · 2026-10-15
- ServeTheHome 独家探访 AWS 秘密网络实验室：网络、光模块与超大规模 — firstadopter · 2026-10-15
- vLLM 自适应验证免训练:Draft logits 自带置信信号,在线校准即可用 — vllm_project · 2026-10-15