SteerDistill: Quantizing LLM Agents via Closed-Loop Teacher Steering
Genming Cui, Xiangyu Li, Zixu Hao, Xin Ding, Yunxin Liu, Ting Cao
cs.AI, cs.LG
2026-11-10
SteerDistill 用 BF16 教师在量化 agent 出错回合闭环纠偏再蒸馏,五基准均分距 BF16 不到 1 分,训练比 QeRL 省 67% 算力。
LLM agent 完成一项任务要多次调用模型,推理成本是部署的第一约束,把权重压到 4-bit 甚至 2-bit 是最常见的省钱手段。问题在于量化后的 agent 任务成功率明显掉,而且掉得很有规律:没先进 workspace 目录就调 cat 去读文件,而这个工具只读当前目录;或者按要求建了三个文件,其中两个留空没写内容。清华 AIR 团队把这类失败叫「行为分歧」(behavioral divergence):量化 agent 产生的环境状态转移,偏离了全精度版本的成功参考轨迹。
修这个偏差有个数据死结。离线蒸馏数据在收集时和这个学生没有交互,大概率覆盖不到它出错的上下文;换 on-policy rollout 能踩到出错上下文,但学生自己在那里几乎给不出正确回答。BFCL V4 的诊断里,在出错回合让学生原地重试四次,至少对一次的比例(Pass@4)只有 9.6%。
SteerDistill 每个训练周期做两件事,核心是教师闭环纠偏、学生自己改、改完蒸馏进去。
构造修正。 把学生的失败 rollout 和同任务同初始状态的成功教师轨迹按环境状态转移对齐,只看状态不看动作文本,不同动作产生相同转移算等价。取第一个分歧回合,把历史和环境回滚到出错前。教师基于失败响应和参考生成结构化 steering prompt,写清差异在哪、规则适用的条件、该怎么改;冻结的学生快照在原上下文加提示下重新生成并执行,执行结果与参考转移做局部验证。失败就把执行反馈交回教师细化提示重试,每处最多四次。验证通过的修正保留,学生去掉提示继续跑;任务还不成就重新对齐找下一个分歧点。任务最终没成功,已验证的修正也照样保留进训练数据。
内化。 训练时学生看不到任何提示:修正回合用 forward KL 对齐「带提示的学生快照」的逐 token 预测,其余回合用 reverse KL 对齐全精度教师。推理时只剩学生自己,教师和提示都不在。这套定位加纠偏把出错回合的 Pass@4 从 9.6% 拉到 82.3%。
为什么这么设计,消融给了答案:在行为分歧处干预比在动作不一致处干预高 1.83 分,因为不同动作可能等价,乱改反而引噪声;让学生在提示下自己改,比无提示重试高 2.38 分、比教师直接接管高 1.78 分;提示来源换成学生自己掉 5.10 分,换成 GPT-5.6-Sol 也掉 1.57 分,同源 BF16 教师反而最合适。
五个智能体基准(BFCL V4、τ²-Bench、WebShop、ALFWorld、Search QA),三个模型,教师与学生同源。Qwen3-8B 在 W4A16 下:
| 方法 | 五基准均分 |
| BF16 参考 | 53.54 |
| QeRL(最强量化基线) | 51.00 |
| SteerDistill | 53.18 |
距 BF16 只差 0.36 分。Qwen3.5-4B 和 Gemma 4 12B-it 上分别以 60.95、64.31 领先 QeRL 1.71 和 1.67 分,同样都在 BF16 一分以内。压到 W4A8 领先 1.93 分,W2A16 领先 On-Policy QAD 3.39 分;唯一没拿下的是 W2A16 的 Search QA,BitDistiller 的 34.22 略高于它的 34.05。训练效率:τ²-Bench 上 32 GPU 小时达到 31.68% 成功率,超过 QeRL 96 GPU 小时的 29.84%,省 67% 算力。推理也省:每个成功任务 4.0K 输出 token,BF16 是 3.9K,量化基线在 4.1K–5.2K,交互步数和工具调用次数也更少。
对要部署量化 agent 的团队,这是一条现成路径:W4A16 基本把量化损失补干净,W2A16 不再崩,代码已开源。和 QeRL 这类 verifiable-reward RL 相比,监督信号是局部验证过的具体修正,比稀疏的任务成败信号密集得多,于是训练算力省三分之二,成功的轨迹还更短。教师就是同一 checkpoint 的 BF16 版本,不需要外部更强模型,连 GPT-5.6 来当教师都不如它。
作者自己列的:整条流水线依赖成功的教师参考,教师解不出的任务拿不到修正;依赖能把环境回滚到出错前状态;依赖可靠的环境级局部验证,无法回滚或难以验证的环境没测。局部验证只看修正动作在当前上下文的效果,不保证任务最终成功,也不检查推理步骤对不对。读下来还有几点:三个模型都在 4B–12B 量级且师生同源,强教师带弱学生的常见设定未验证;五个基准全是文本环境且状态可精确比对(数据库、世界事实),真实网页这类状态难对齐的环境迁移性存疑;训练循环里教师反复生成提示、学生反复重试、环境反复回滚,工程分量不轻。