自建 vLLM INT8 推理栈：4 张 MI100 跑 Qwen 27B 达 972 tok/s
1ncehost · reddit · 2026-08-27
开发者针对不支持原生 FP8 的老款显卡发布了一套完整的 INT8 推理方案：基于 vLLM、AITER 和 GPTQ INT8 量化(DFlash2),为 Qwen3.8 27B 在 4× MI100(整机约 6500 美元)上实现 972 tok/s 生成 / 5,680 tok/s 预填充，而原版 vLLM 仅约 15 tok/s。
具体工作包括：
- 为 MI100 全面调优的 W8A8 INT8 GEMM 库，并在全栈使用
- INT8 KV cache、INT8 AITER Unified Attention(带 Triton 回退，快于 Flash Attention)
- INT8 Mamba/GDN 注意力、INT8 Embedding
- 针对 XGMI 互连优化的 INT8 自定义 allreduce/allgather
- 多个新的融合 INT8 kernel
质量验证极为严格：不只逐 token，还对每个 GEMM、注意力块、KV 查找和每层测量 KLD,诊断脚本保留在分支中可供自行验证。作者建议检查显卡的 INT8 TOPS 是否超过 FP8 FLOPS——若是，这套方案就适用；Triton 回退实现是硬件无关的，MI50/MI210 等老卡也能受益。项目已开源(vLLM/AITER 分支 + Hugging Face 上的量化模型)。
「Infra」频道最新
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15
- 实测 Apple Silicon GEMM 性能:M6 矩阵单元 fp8 达 fp16 两倍,M5 不支持 — Brilliant-Hall1387 · 2026-10-15