MIT QDA:用 LLM Agent 自动设计量化方案,64 GPU 小时超最强公开配方

mit-han-lab · hf · 2026-11-19

MIT 韩松实验室与 NVIDIA 联合提出 QDA(Quantization Design with Agents),用 LLM agent 闭环自动设计 LLM 后训练量化(PTQ)方案。

解决的问题:最佳量化配方因模型与精度而异,专家需为每个新模型重新设计,耗时且常常次优。

关键设计:

结果:在四个 reasoning 模型上,W4A16/W4A8/W3A16 平均比最强公开配方提升 0.9/1.4/2.2 个百分点,每次搜索仅耗 64 GPU 小时;在 320B MoE 模型 GLM-5.3-Flash 的 NVFP4 W4A4 下恢复 FP8 精度的 98.3%(最强厂商 checkpoint 为 96.9%),且所有 checkpoint 无需改服务内核、零推理开销。库、评估器与 harness 将开源。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →