双 CMP 170HX 跑 Qwen 3.8 Flash Next:8 并发 840 tok/s 全配方公开
dead-fish · reddit · 2026-10-19
作者分享了在两张 CMP 170HX 矿卡(仅 PCIe Gen2 x4)上优化 Qwen 3.8 Flash Next 的完整方案:W4A16 AutoRound 检查点 + 打补丁的 vLLM + 流水线并行 + 原生 MTP 投机解码,n-gram 表从 NVMe 内存映射。实测聚合解码吞吐:单并发代码 226 tok/s,8 并发达 840 tok/s(单请求仍 116 tok/s、首 token 231ms);4k-64k 提示 prefill 6300-7100 tok/s,128k 仍有约 5900 tok/s;散文解码从 4k 上下文 158 tok/s 缓降到 128k 的 142 tok/s。HumanEval 95.7%、GSM8K 96.4%,支持完整 262144 token 窗口。测量采用三取中位数协议。作者称这是目前已知最快的 2x CMP 170HX 配方,完整 recipe、Docker 镜像和补丁已在 GitHub 开源。
「Infra」频道最新
- 百度提出Virtual Head Attention:KV缓存省4-7倍,推理零定制内核 — burny_tech · 2026-10-19
- 32GB DDR5服务器内存现货涨幅收窄,存储股单日大跌5-7% — tengyanAI · 2026-10-19
- 作者追问：M5 Max 带宽更高，算力却远逊 NVIDIA RTX Spark — draginol · 2026-10-19
- RTX Spark 对决 M5 Max：本机跑 Qwen 3.8 27B 速度对比 — draginol · 2026-10-19
- 约 850 行代码在树莓派上自建 iMessage AI 助手 — lucasgelfond · 2026-10-19
- 同配置生成视频,ComfyUI Portable 内存占用仅 Desktop 一半 — phalanx2357 · 2026-10-19