清华AIR提出SteerDistill:低比特量化Agent靠教师闭环引导挽回任务成功率
Genming Cui · hf · 2026-11-12
清华大学 AIR 产业研究院等机构的论文提出 SteerDistill,一种量化感知蒸馏方法,解决低比特量化 LLM agent 任务成功率下降的问题。
核心思路:
- 分析失败 rollout 发现,量化 agent 往往忽略任务要求或环境条件,产生偏离全精度参考的行为
- 由全精度教师引导学生修改失败响应,并利用学生执行反馈迭代修正指导,形成「闭环教师引导」,产出经过本地验证的行为纠正
- 再让学生在无辅助的情况下,对照已纠正轮次与教师在这些轮次的行为进行训练,实现无辅助推理
结果:在 5 个 agent 基准和 3 个模型上,W4A16 下平均分超出最强量化基线 1.67–2.18 分,与 BF16 差距在 1 分以内;在 τ²-Bench 上以少 67% 的训练数据(相对 QeRL)成功率高出 1.84 个百分点。代码已开源。
「编程与Agent」频道最新
- 开发者用墨水屏设备实时监控 20 路 Codex agent 任务 — Dimillian · 2026-11-12
- 广告创意人用单张本地 GPU 搭出可验证的 AI 软件工厂 — d3nnyvg3org3 · 2026-11-12
- GraphRAG 指南：三种检索模式与四周验证是否值得上知识图谱 — JeremyCMorgan · 2026-11-12
- Steve Yegge 日烧 50 亿 token:Agent 放开跑先崩的是模型外的一切 — FinanceYF5 · 2026-11-12
- 开源 Slack MCP Server:让 AI 代理直接读写你的工作区 — modelcontextprotocol · 2026-11-12
- Anthropic 工程博客 28 篇干货:agent 记忆、Claude Code 与自研版本控制 — bookwormengr · 2026-11-12