MIT 与 NVIDIA 推出 QDA:用智能体自动设计量化方案,64 GPU 小时超越最强人工配方
omarsar0 · x · 2026-11-20
MIT 与 NVIDIA 联合发布论文 QDA: Closed-Loop LLM Quantization Design with Agents,让智能体接管后训练量化(PTQ)配方设计。
核心思路
- 最优量化配方随模型和精度变化,专家通常要为每个新模型手工重新设计,费时且常非最优
- QDA 让 LLM agent 在多轮「构建候选→评估」闭环中自动搜索配方
关键设计:极速评估
- 常规评估一个量化推理模型需数十 GPU 小时;QDA 用候选模型在 agent 未见过的推理轨迹上与原模型的输出 KL 散度来打分,几分钟即可完成
- 有希望的候选再用长生成检测重复循环等失败模式
- 提供公共 PTQ 方法共享库,agent 可自由组合方法而无需手动移植代码库
结果
- 在四个推理模型上,W4A16、W4A8、W3A16 分别比最强公开配方平均高 0.9、1.4、2.2 个百分点,每次搜索仅耗 64 GPU 小时(约 $53 token 成本)
- 在 320B MoE 的 GLM-5.3-Flash 上做 NVFP4 W4A4 量化,QDA 恢复 FP8 模型 98.3% 精度,最佳厂商 checkpoint 为 96.9%
- 所有 checkpoint 可直接跑在现有 serving kernel 上,无推理开销
作者表示将开源方法库、评估器与整套 harness,视为迈向个性化、可及的 RSI(自我改进)的重要一步。
所属事件:MIT 联合 NVIDIA 推出 QDA,智能体自动设计量化方案(2 条相关)→
「Infra」频道最新
- 微软 Bing Web IQ 全面开放:Auto 编排多源检索,为 Agent 提供实时世界知识 — dejanseo · 2026-11-20
- exe.dev 发布 Rex 集成:远程 VM 正成为 agent 时代的主工作台 — davidcrawshaw · 2026-11-20
- 业内人士判断:CUDA 与 ISA 都不再是护城河,芯片创新潮将至 — IgorCarron · 2026-11-20
- Caixin:美国断远程访问叠加 Nvidia CEO 离任,中国科技大厂海外算力交易急刹车 — Gregory_C_Allen · 2026-11-20
- PostgreSQL 19 发布:WAIT FOR LSN 解决读写分离读己之写难题 — Simon Willison · 2026-11-20
- 极客用 Rust 手写推理引擎,单张 5090 跑 125B MoE 模型 — QuixiAI · 2026-11-20