Meta 论文:RSD 让 AI 智能体从无标注历史轨迹中自我进化
rohanpaul_ai · x · 2026-10-23
Meta 新论文提出 Retrospective Self-Distillation(RSD),让智能体在没有标准答案、没有奖励信号的情况下,从自己过去完成任务的历史轨迹中学习。
核心思路:同一模型既当学生又当老师——老师模型在知道轨迹结局、并参考跨任务经验的前提下,回头为学生实际采取的每一步动作打分,再把打分分布蒸馏回策略。经验库随轮次增长,回顾上下文每轮重新生成(冻结的旧笔记在 ALFWorld 第 3 轮只有 59.7%,动态重建则达 67.9%)。
效果:
- ScienceWorld:Qwen3-14B 成功率从 12.9% 升至 20.6%
- ALFWorld:Qwen3-8B 达 76.6%,超过所有对比方法,包括给了奖励或标准答案的方法
- 相对基座最高提升 59.7%;前沿模型引导的上下文策略进化可再带来最高 44.7% 相对提升
实践启示:保留智能体的无标注运行记录(包括失败),对它们做事后回顾训练,且每轮重建回顾内容。
所属事件:Meta 提出 RSD：让 AI 智能体从历史轨迹自我进化(2 条相关)→
「编程与Agent」频道最新
- 编码 Agent 榜单 v2.0 发布：Claude Code 以 61.7 分居首，Max 模式被质疑该剔除 — ryanallred · 2026-10-23
- 南洋理工 RouteWeaver:统一多模式 LLM 路由框架 — NanyangTechnologicalUniversity · 2026-10-23
- 蚂蚁国际提出 Heartbeat Thinking，语音 agent 响应延迟降 36.4% — ant-intl · 2026-10-23
- 开发者驳「vibe coding 致漏洞泛滥」：多数 CVE 出自人写旧代码 — HowDevelop · 2026-10-23
- MOSS-Image 实测 20 种动漫风格，附 ComfyUI 工作流与 SLG 技巧 — SkirtSwimming8950 · 2026-10-23
- Claude 与 Claude Code 合二为一，官方建议：每 6 个月删光你的 CLAUDE.md — rubenhassid · 2026-10-23