Google 提出 AdviSD:小型顾问模型自蒸馏,超越 GRPO 最高 6.4 个百分点
google · hf · 2026-10-01
Google 的 AdviSD(Advisor Self-Distillation)让一个可训练的小型顾问模型用自然语言建议来引导冻结的大模型执行器,并用执行反馈持续改进建议质量。
- 关键发现:看似合理的修正若不改变执行结果,继续用它学习反而会限制顾问在其它情境下的表现;论文在共享参数设定下给出了证明
- 方法:结果导向的强化学习 + 从带反馈条件的顾问副本中选择性自蒸馏——顾问对同一执行器输出分别在有无其建议的情况下打分,用分差大小决定哪些决策纳入监督,无需执行器似然或额外 rollout
- 实验:用 Qwen3-8B 顾问引导 Gemini 与 Claude,BFCL-v3 上超过 advisor-GRPO 4.2-6.4 个百分点,EnvScaler 上高 3.9-5.1 分
- 训练出的顾问可泛化到域外任务,跨执行器版本和模型家族迁移
「研究」频道最新
- TotalSegmentator 在常规胸 CT 中量出 42mm 扩张主动脉 — MaziyarPanahi · 2026-11-16
- Tivadar Danka 发布 4000 字图解机器学习所需图论长文 — TivadarDanka · 2026-11-16
- METR 任务时长曲线更新:Opus 4.5 后倍增周期缩至 1.7 个月 — ben_j_todd · 2026-11-16
- GTAgentClinic 一行命令安装,可让 Claude Code/Codex 接管 3D 医院夜班 — Michael_D_Moor · 2026-11-16
- 28 个主流模型训练截止日期盘点:近半数不公布,Gemini 4 Carbon 发布即落后 8 个月 — Joozio · 2026-11-16
- FutureSim Q3:LLM 从经验中真实变强,Opus 5.5 登顶 — rickasaurus · 2026-11-16