PivotOPD 论文:教会多轮智能体从关键错误中恢复,胜过 13 个基线
Jeande_d · x · 2026-10-08
NVIDIA 研究者提出 PivotOPD,一种改进的在线策略蒸馏(OPD)框架,解决多轮智能体训练中的错误复合问题。
- 问题:多轮交互中,一个错误动作会改变后续所有状态,使错误跨轮复合。初步实验发现,超过一半的失败 rollout 包含一个「关键错误」(pivotal mistake),且通常发生在早期;若在关键轮后引导模型几步,任务仍可挽回。
- 方法:在关键错误处,教师模型给出正确动作并在随后几轮命名恢复动作。预防性蒸馏用 gold action + reverse KL 避开关键错误;恢复性蒸馏用 forward KL 迁移学生几乎不会自发采样的恢复行为。
- 结果:相比 OPD(学生恢复概率 <1%),PivotOPD 让智能体从关键错误中恢复的频率提升 3 倍以上;在 ALFWorld、WebShop、搜索 QA 上对比 13 个基线,Qwen3-1.7B/8B 平均提升约 6%,Nemotron-3.5 提升 3%。
所属事件:NVIDIA 发布 PivotOPD 助多轮智能体纠错恢复(2 条相关)→
「编程与Agent」频道最新
- 南洋理工 RouteWeaver:统一多模式 LLM 路由框架 — NanyangTechnologicalUniversity · 2026-10-23
- 蚂蚁国际提出 Heartbeat Thinking，语音 agent 响应延迟降 36.4% — ant-intl · 2026-10-23
- 开发者驳「vibe coding 致漏洞泛滥」：多数 CVE 出自人写旧代码 — HowDevelop · 2026-10-23
- MOSS-Image 实测 20 种动漫风格，附 ComfyUI 工作流与 SLG 技巧 — SkirtSwimming8950 · 2026-10-23
- Claude 与 Claude Code 合二为一，官方建议：每 6 个月删光你的 CLAUDE.md — rubenhassid · 2026-10-23
- 工程师 PR 合并量两年翻 4 倍,Imprint 用 small-change 提速代码评审 — AxSaucedo · 2026-10-23