4 张 AMD V620 跑 Qwen3.8-Flash，编码生成 70+ tok/s
Thin_Pollution8843 · reddit · 2026-09-17
Reddit 用户分享了在 4 张 RDNA2 架构的 AMD V620 GPU 上运行量化版 Qwen3.8-Flash-Next（Intel/Qwen3.8-Flash-Next-W4A16-AutoRound，质量损耗约在 Unsloth q5-xl 与 q6-xl 之间）的实测成绩，依托 vllm-rdna 社区项目实现对 RDNA2 的支持：
- Regular 场景：32K 上下文 prompt 处理 1393 tok/s、生成 57.9 tok/s；128K 下仍达 1313 / 56.1 tok/s
- Coding 场景：32K 下生成 70 tok/s；64K 最高 72.5 tok/s；128K 保持 68.3 tok/s
展示了用老旧数据中心 GPU 组建本地推理的性价比路线，也凸显社区驱动 vllm 适配的成果。
「Infra」频道最新
- 用 ESP32 小屏给 DGX 集群做推理监控面板,固件开源 — CATLLM · 2026-11-02
- OpenRouter 年化 Token 量破 10 千万亿,每 10.5 周翻一倍 — deedydas · 2026-11-02
- Palmer Luckey 追问数据中心 RAM 的使用权边界:能否做服务条款禁止的事 — avaitopiper · 2026-11-02
- 本地跑大模型实测:关闭 MTP 可提升 20-30% 生成速度 — InternalMode8159 · 2026-11-02
- Kioxia 股价一年涨 216%，但较 6 月高点已腰斩再腰斩 — zephyr_z9 · 2026-11-02
- Intel 单日暴跌 29% 创 1970 年代以来最差，美国政府持股蒸发 120 亿美元 — emmanuelvivier · 2026-11-02