SteerDistill:BF16 教师闭环纠错,让 W4 量化 Agent 掉分不超过 1 分
_akhaliq · x · 2026-11-13
SteerDistill 提出用「闭环教师引导」来量化 LLM Agent,解决量化后 Agent 漏掉任务要求导致整体失败的问题。
方法:
- 冻结的 BF16 教师在学生重试时给予引导,并利用执行反馈不断修正引导内容
- 通过 context distillation 把「局部验证过的修正」内化进学生模型
- 训练后学生可独立运行,不再需要教师或 steering prompt;师生从同一 BF16 checkpoint 出发
结果:
- W4A16 下,三个模型 × 五个 Agent 基准的平均分数与 BF16 差距在 1 分以内
- W2A16 下,在 Qwen3-8B 上取得所有测试量化基线中的最高平均分
代码、论文与项目页均已开源。
所属事件:SteerDistill：教师闭环引导让 W4A16 量化 Agent 掉分不到 1 点(3 条相关)→
「研究」频道最新
- Chronicle 首个临床试验落地:AI 选患者,携手 Prolong 测试 ME/CFS 药物 — thekaransinghal · 2026-11-13
- Salesforce 发布 A²-Bench：500 场景拆解多智能体协作的 20 种失败模式 — mohitban47 · 2026-11-13
- 研究员认为矩阵优化器之间 CE 差距仅 5-10% — _arohan_ · 2026-11-13
- 普林斯顿等研究：最优优化器随 batch size 变化，排名会反转 — _arohan_ · 2026-11-13
- Pasquinelli 提出 AI 科技史四论题:从算法思维到思考机器 — ArtificialOther · 2026-11-13
- Chrome 团队把编码 agent 本地向量检索从 507MB 压到 7 行循环,查询仅 30µs — gaganghotra_ · 2026-11-13