vLLM 联合蚂蚁集团开源 Humming:量化推理内核库,内核提速最高 5 倍
vllm_project · x · 2026-10-21
vLLM 项目与蚂蚁集团开源 Humming,一个面向量化推理的通用高性能内核库,覆盖「每种格式 × 每种 GPU × 每种负载」的组合难题。基准显示内核最高 5 倍加速,MoE 端到端吞吐提升 14–43%。
要点:
- 广泛设备支持:覆盖 Turing 起的 NVIDIA GPU 架构及平头哥 Zhenwu 810E 等 CUDA 兼容设备。
- 统一量化架构:支持稠密与 MoE 负载下多样的权重/激活格式组合,涵盖多种整型与浮点类型、位宽、缩放方案(WNA16、W8A8、W4A8、W4A4 等)。
- 性能:在代表性工作负载上显著超过 vLLM Marlin、FlashInfer、DeepGEMM 的现有实现。
- 背景:量化可降低显存占用与数据搬运,对 MoE 尤为关键(如 DeepSeek-V3 有 6710 亿参数、每 token 仅激活 370 亿,但全部权重需常驻显存)。
仓库:github.com/vllm-project/humming
「Infra」频道最新
- oss-sec 邮件列表单日 275 封：Apache 多项目漏洞集中爆发 — DanielLockyer · 2026-10-21
- teortaxesTex 质疑机器人消化 tokens 论：供应链撑不起 2027 叙事 — teortaxesTex · 2026-10-21
- bookwormengr 算账：AI 需要 2027 年底前做到 2.5 万亿美元 ARR 才撑得起 50GW — bookwormengr · 2026-10-21
- 硅光芯片实现 58 mHz 线宽超稳激光，频率噪声压制超 110 dB — jwt0625 · 2026-10-21
- 诺基亚贝尔实验室激光器线宽改善 50~60dB,作者用 Claude 做成交互图表 — jwt0625 · 2026-10-21
- 按 DeepSeek 推理定价,50GW 算力需 10 万亿美元年营收消化 — teortaxesTex · 2026-10-21