NVIDIA 发布 AutoCompress:按硬件约束自动压缩 LLM,精度反超 Minitron
nvidia · hf · 2026-11-09
NVIDIA 发布 AutoCompress,一个硬件导向的 LLM 压缩框架,将延迟、吞吐和内存约束直接纳入可微架构搜索,并用推理引擎成本模型指导全局与逐层结构优化,产出异构架构模型。
关键结果:
- 相比最先进的 Minitron 剪枝框架,在 RTX 5070、RTX 5080 和 H100 上八项基准平均精度分别提升 6.57、2.35 和 0.57 个百分点
- 将 Nemotron 3.5 Super 从 120B 压缩到 74B 参数,可在单张 B200 上以 BF16 服务 128K 上下文,保留 95% 的平均基准分数
- 论文指出参数量本身并不能预测延迟/吞吐,这些指标取决于架构、工作负载、硬件与推理引擎,因此压缩必须直接以硬件指标为目标
「Infra」频道最新
- 新注意力核算法提速1.8-6.4倍，精确相对位置注意力进FlashAttention — INSAIT-Institute · 2026-11-09
- AMD 大涨 11% 收于 449 美元,盘前再涨 2% 续创新高 — firstadopter · 2026-11-09
- 评论人称推理成本正成为 AI agent 的隐形天花板:算力紧、token 涨价就失去经济性 — DavidLinthicum · 2026-11-09
- DeepSeek V4.1 Flash 1017 在 Vercel 跑出 1000 tok/s，家用 4x3090 也能到 65 — AccBalanced · 2026-11-09
- GPU 租价表曝光:GB300 整柜月租 340 万,B200 整机 27 万/月 — sujingshen · 2026-11-09
- 分析师估算：中国贡献约20%算力营收，禁租令或重创现货市场 — zephyr_z9 · 2026-11-09