4xR9700 本地跑通 Qwen：120 t/s 生成与 12k t/s 预填充
sloptimizer · reddit · 2026-08-31
用户分享了在 4 张 AMD R9700 显卡上运行 Qwen3.8-Flash-Next 模型的优化方案。通过使用 MXFP4-FP8 量化权重和定制的 vLLM Docker 镜像，实现了单请求 120 t/s 的生成速度和 12k t/s 的预填充速度。配置启用了 ROCm 优化、KV Cache FP8、前缀缓存、分块预填充以及 MTP 推测解码，并附带了完整的 Podman 启动命令。
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16