LLM Compressor v0.14.0 发布,GPTQ 量化提速最高 30 倍
vllm_project · x · 2026-09-24
vLLM 项目发布 LLM Compressor v0.14.0,带来 GPTQ 自发布以来最大幅度的性能提升。
主要更新:
- 全新 Triton 量化核让 GPTQ 端到端速度约提升 15 倍;同形状层批量处理后在部分 MoE 工作负载上可达约 30 倍;旧的 eager 路径也独立提速 1.5-2 倍,并移除了 Hessian offloading。
- 扩展的 MSE/iMatrix 观察器扩大网格搜索空间(是 Fourosix 式量化策略的超集),在内部基准上 NVFP4 效果超过 GPTQ;MSE 观察器也新增 Triton 核,观测时间约快 10 倍且与 eager 路径位级一致。
- REAP 剪枝新增分布式 DDP 支持与 e-Score 修正。
- 新增对 GLM 5.3 和 Qwen3.8 的支持。
发布说明见 GitHub(vllm-project/llm-compressor,3.8k stars)。
「Infra」频道最新
- Starlink 美国城市用户增速 73% 反超农村，上传速度提升 42% — XFreeze · 2026-11-11
- Cloudflare 采用未经实战的共识算法 QuePaxa,替代 Raft/Paxos 建 Meerkat — sull · 2026-11-11
- 用 AI 扫遍全美废弃商场，改造成数据中心的脑洞 — LinusEkenstam · 2026-11-11
- Anthropic S-1 曝 260 亿美元私募：七大供应商按 IPO 价入股 — demian_ai · 2026-11-11
- AMD 10Q 披露收购 Taalas 花费 29 亿美元,将 LLM 权重烧进硬件 — deedydas · 2026-11-11
- SpaceXSI 1.2GW 燃气电厂获密西西比州环保许可,为 Colossus II 供能 — XFreeze · 2026-11-11