众包优化使 Qwen 27B FP8 在单卡 H200 上较 vLLM 原生快 3.5 倍
const_reborn · x · 2026-09-07
Paretonai 报告其矿工社区通过竞赛方式,把 Qwen3.8-27B-FP8 在单张 H200 上端到端推理速度做到原生 vLLM 的 3.5 倍(基于 SWE-agent 轨迹中位数):
- 单请求中位延迟 727ms → 190ms,吞吐 58.7 → 221.8 tok/s
- inter-token 延迟 p99 从 93ms 降到 38ms;满足严格服务 SLA 的请求占比从 3% 提升到 100%
- 输出与原版一致(贪心解码 token 匹配率 ≥0.99)
- 获胜补丁:启用 checkpoint 自带的 MTP 头做自投机解码(γ=8),加上为 GDN 线性注意力层写的融合 Triton 内核,仅在 vLLM 内改动 1090 行
- 第一周共 25 轮、74 次提交、31 名矿工参与
「Infra」频道最新
- 500 万美元种子轮不够 DeepSeek 训一遍:没 GPU 的 AI 创业只剩三条路 — FinanceYF5 · 2026-10-26
- HBM 需求转向:低端推理砍单,Rubin 将全系 12-high HBM — BenBajarin · 2026-10-26
- CircuitHub 发布工厂级机器人 The Grid，美国产 PCB 提速两倍对标深圳 — garrytan · 2026-10-26
- Ubicloud 发文修复 vLLM 工具调用准确率问题 — petrusenko_max · 2026-10-26
- Meta 批准无投票权 C 类股，2026 年资本开支指引达 1350–1450 亿美元 — thione · 2026-10-26
- Unsloth 发布 MiniMax-M3.1-Flash 量化：2-bit 保留 91.5% 精度，150GB 内存可跑 — danielhanchen · 2026-10-26