MIT QDA:用 LLM Agent 自动设计量化方案,64 GPU 小时超最强公开配方
mit-han-lab · hf · 2026-11-19
MIT 韩松实验室与 NVIDIA 联合提出 QDA(Quantization Design with Agents),用 LLM agent 闭环自动设计 LLM 后训练量化(PTQ)方案。
解决的问题:最佳量化配方因模型与精度而异,专家需为每个新模型重新设计,耗时且常常次优。
关键设计:
- 快速评估:agent 不直接跑长评测,而是用候选项在从未见过的 reasoning traces 上与原模型的输出 KL 散度打分,几分钟出结果;对有希望的候选用长生成检查重复循环等失败模式;
- 快速构建:提供一个相互兼容、兼容新架构的公开 PTQ 方法库。
结果:在四个 reasoning 模型上,W4A16/W4A8/W3A16 平均比最强公开配方提升 0.9/1.4/2.2 个百分点,每次搜索仅耗 64 GPU 小时;在 320B MoE 模型 GLM-5.3-Flash 的 NVFP4 W4A4 下恢复 FP8 精度的 98.3%(最强厂商 checkpoint 为 96.9%),且所有 checkpoint 无需改服务内核、零推理开销。库、评估器与 harness 将开源。
「Infra」频道最新
- KAIST 提出 PROLA 低秩适配方法,用于预测性时空天气降尺度 — MLVLab · 2026-11-19
- WSJ:华尔街承诺为英伟达动员 5000 亿美元,至今一分未出 — GaryMarcus · 2026-11-19
- 绕过 PyTorch 直写 HIP 核:MiniMax H3 在 AMD R9700 上提速近 3 倍 — Apprehensive_Sky892 · 2026-11-19
- DeepSeek 早期核心成员开源本地个人 Agent Linger,称推理提速 5 倍 — Aiden_Tech_Ai · 2026-11-19
- 中国首个面向海外市场的华为昇腾算力集群启用 — pstAsiatech · 2026-11-19
- 腾讯称美国芯片管制「不幸」,短期内或拖慢 AI 训练 — pstAsiatech · 2026-11-19