ActionOPD 动作级在线蒸馏训练 Qwen3 智能体,跨域基准提升 3.3-6.9 点
nics-efc · hf · 2026-10-15
- 问题：将大模型 agent 蒸馏到小模型时，token 级离线模仿有状态分布错配，token 级在线蒸馏（OPD）又依赖教师 token 概率与相同分词器。
- 方法：提出 ActionOPD，以「语义动作」为监督单元的动作级在线蒸馏——在学生遇到的状态上同时采样学生与黑盒教师的动作，按语义一致性奖励学生动作，无需教师 token 概率或复现教师推理文本。
- 结果：用两名教师（Qwen3.7-Flash、DeepSeek-V4-Flash）在工具使用任务上训练 Qwen3-4B/8B，四个域外基准平均提升 3.3-6.9 个百分点；在 τ²-bench 上与离线蒸馏和 token 级 OPD 相当；随学生规模与教师能力提升而扩展，且不要求师生同族同分词器。
- 扩展：还探索了同模型教师加特权上下文的 Self-ActionOPD。
「研究」频道最新
- UCB 与阿里提出 RAESR:在冻结 DINOv3 潜空间做超分,512px 仅 37ms — RTP-LLM · 2026-10-15
- 字节 Seed 提出 Cortex:把上下文蒸馏为参数记忆,14B 模型保 88.9% 增益 — ByteDance-Seed · 2026-10-15
- 研究者纠错:模型行为差异源自数据与 RL,而非梯度下降 — PMinervini · 2026-10-15
- SFT+全 logit KL+隐状态 MSE,还算不算「蒸馏」引争议 — cephaloform · 2026-10-15
- Quanta 长文追问:注意力机制是智能的本质吗? — mikeflache · 2026-10-15
- Fisher 信息新论文解释:为何 LLM 后训练参数更新如此稀疏 — cephaloform · 2026-10-15