SteerDistill 用教师模型引导量化，Agent W4A16 掉分不足 1 点

清华大学 AIR 产业研究院等机构提出 SteerDistill，一种量化感知蒸馏方法，解决低比特量化导致 LLM Agent 任务成功率下降的问题。核心思路是让冻结的 BF16 教师模型在量化学生模型执行失败时逐步介入引导，反复细化修正指令，直到修正通过本地验证。实验显示 W4A16 量化下 Agent 任务成功率掉分不到 1 点。

2026-11-12 ~ 2026-11-12 · 2 条相关