NVIDIA 开源 Model-Optimizer:量化蒸馏剪枝一站式压缩推理模型
NVIDIA · github · 2026-09-24
NVIDIA 开源的 Model-Optimizer 统一集成了量化、蒸馏、剪枝、神经架构搜索、投机解码等 SOTA 模型优化技术,可将深度学习模型压缩后对接 TensorRT-LLM、TensorRT、vLLM 等部署框架,提升推理速度。项目以 Python 编写,已获约 3900 星。
「Infra」频道最新
- Starlink 美国城市用户增速 73% 反超农村，上传速度提升 42% — XFreeze · 2026-11-11
- Cloudflare 采用未经实战的共识算法 QuePaxa,替代 Raft/Paxos 建 Meerkat — sull · 2026-11-11
- 用 AI 扫遍全美废弃商场，改造成数据中心的脑洞 — LinusEkenstam · 2026-11-11
- Anthropic S-1 曝 260 亿美元私募：七大供应商按 IPO 价入股 — demian_ai · 2026-11-11
- AMD 10Q 披露收购 Taalas 花费 29 亿美元,将 LLM 权重烧进硬件 — deedydas · 2026-11-11
- SpaceXSI 1.2GW 燃气电厂获密西西比州环保许可,为 Colossus II 供能 — XFreeze · 2026-11-11