单张 AMD R9700 跑 Qwen3.6 35B：vLLM 部署与 INT4 性能实测
KriptacMessage · reddit · 2026-08-08
开发者分享了在单张 AMD Radeon AI Pro R9700 显卡上，使用 vLLM 部署 Qwen3.6 27B 和 35B 模型的优化经验与基准测试结果。
部署配置
- 权重选择：使用 INT4 量化版本（W4A16），因为 35B 模型的 FP8 版本无法完整塞进单张 32GB 显存。
- 参数调整：张量并行设为 1，显存利用率拉升至 0.98。针对 27B 模型开启了推测解码（numspeculativetokens=4），实测该值在各深度下比 8 快 17%-48%。
- 避坑指南：需手动修改 INT4 权重库中 tokenizer.json 的 truncation.maxlength 和 padding，否则会导致视觉功能失效。
性能表现
- 35B MoE 模型：在 4K 上下文时 prefill 速度约 7800 tok/s，decode 约 61 tok/s；在 150K 长文本下仍能保持约 49.5 tok/s 的解码速度。
- 27B Dense 模型：得益于推测解码，4K 上下文时 decode 速度约 59.6 tok/s，平均接受长度达到 4.5。
「Infra」频道最新
- MLCommons 推出 MLPerf Endpoints,按真实服务端点测推理性能 — TheKanter · 2026-10-16
- Neocloud 并购潮解析：CoreWeave、Nebius 等押注 GPU 稀缺之外的价值 — AccBalanced · 2026-10-16
- AI 驱动的时序感知功耗优化:学习排序+基线保全策略回收布线后功耗 — Amit Sharma · 2026-10-16
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16