ISA-Distill:按学生可回忆性调节教师反馈的搜索智能体蒸馏法
_reachsumit · x · 2026-11-04
论文提出信息状态感知蒸馏方法 ISA-Distill,用于训练搜索智能体。
- 现有 on-policy 蒸馏会给教师补充证据、参考答案或后见信息,但这可能让教师依赖学生当前状态无法可靠恢复的事实,导致低估对学生有用的检索动作。
- ISA-Distill 估计学生对动作相关知识恢复的可靠程度,对同一采样动作从两个视角生成教师反馈:「事实使用」视角直接供给相关事实,指导学生用知识;「证据寻求」视角呈现信息需求,指导学生主动检索。
- 当可恢复性高时加权偏向事实使用,低时偏向证据寻求。
在多个 QA 基准和不同模型规模上均显示改进。
「研究」频道最新
- 哈佛教授承认：AI 生成的文章评审已全面优于人类最佳水平 — iamfakhrealam · 2026-11-04
- Cohere等论文:合成预训练收益竟源于嵌入初始化偏差 — LauraRuis · 2026-11-04
- kalomaze 展示 DeepSeek V3.1 底座更大骨干实验，eval loss 降至约 0.82 — kalomaze · 2026-11-04
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87× — pmttyji · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04