Qwen3.8-27B 优化实录：速度飙升至 153 tok/s
TrifleHopeful5418 · reddit · 2026-08-21
作者通过 159 次实验，在 AMD Strix Halo (128GB) + RTX 3090 Ti 的异构配置下，将 Qwen3.8-27B 的生成长文本速度从 9.5 tok/s 提升至 153 tok/s（32K 代码上下文），并在 HumanEval 上跑赢双 3090 vLLM 集群。
核心优化手段：
- 更换 Chat Template： 切换至 Qwen-Sharp 模板，减少模型自述，缩短 44% 壁钟时间和 51% 输出 Token，效果显著优于数周的 GPU 调优。
- KV Cache 格式调整： 将 K 和 V 从 q80 降级至 q40，释放 2GB 显存，将所有全注意力层移至高速 GPU，预填和生成速度大幅提升。
- speculative decoding 配置： 使用 --spec-type draft-mtp,ngram-mod，在代码生成上获得 +72% 至 +140% 的加速，且不占用显存。
- llama.cpp 微调： 通过 --spec-draft-ubatch 释放 1GB 显存用于层放置。
- 视觉编码器卸载： 利用 MTMDBACKENDDEVICE=Vulkan1 将视觉编码器移至闲置 iGPU，避免 3090 Ti OOM。
避坑指南：
- 外部 Draft 模型因 PCIe 延迟反而更慢。
- Q6K 量化导致速度变慢且精度微降。
实测结果：
- HumanEval (164 题)： 本地 159/164 (29.7 min) vs 远程 vLLM 157/164 (42.4 min)。
- 长文本检索： 本地全通过，耗时更短。
「Infra」频道最新
- 黄仁勋做客 BG2 播客:谈 AI 收入能否撑起 Capex 与 2027 瓶颈 — elonmusk · 2026-10-16
- Mistral 本地推理基建机架曝光:DGX Spark、Mac Studio 等混搭 — gregmushen · 2026-10-16
- 英伟达携手瑞典 Wallenberg，Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16
- 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16
- Cerebras 用异构 prefill 池喂晶圆级引擎，解码速度与 batch 解耦 — ai · 2026-10-16