Qwen 3.8 27B 本地部署与 MTP 优化配置
gabrielesilinic · reddit · 2026-08-31
作者分享了在 AMD 7900XTX (24GB VRAM) 上运行 Qwen 3.8 27B-UD-IQ4XS 的详细配置与优化经验。
关键配置与参数：
- 使用 llama-server 部署，开启 Flash Attention。
- MTP (Speculative Draft): 配合 --spec-draft-n-max 3 和 --spec-draft-p-min 0.70，有效解决了长对话中 MTP 变慢的问题（低置信度时立即拒绝 draft）。
- KV Cache 量化: 开启 --cache-type-k q80 和 --cache-type-v q80，稳定性良好。
- 上下文: 140k 上下文下占用约 22.1GB 显存，速度达 22-30 t/s。
工具链：使用 llama-swap 管理模型启动，systemd 托管服务。作者提到 UD 版本量化比非 UD 版本更小且表现更好。
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16