Salesforce研究:让弱模型模仿强模型反降15%,纠错式微调才有效
rohanpaul_ai · x · 2026-09-22
Salesforce AI 研究发现:当 agent 的提示词、工具和工作流已围绕较弱的 Qwen3-Coder-30B-A3B 调优后,直接用强模型(Gemini)的完整轨迹去微调弱模型,反而会破坏原有表现。
- 在 7 项企业任务上,围绕 Qwen 调优 agent 设置可将平均成功率从 29.2% 提到 78.0%;同设置下 Gemini 达 93.6%。
- 用 Gemini 完整运行微调 Qwen 后,成功率跌到 63.1%,7 项任务全部下降——Qwen 学到了有用知识,但也照搬了 Gemini 的规划方式,与围绕 Qwen 原有行为搭建的设置不再兼容。
- 改用保留 Qwen 自己的失败运行、只让 Gemini 纠正出错步骤的方式,成功率升到 79.7% 且不丢此前收益。
结论:微调模型时,不要破坏已经围绕它正常工作的 agent 设置。
所属事件:Salesforce 研究：模仿强模型轨迹微调反使 agent 性能下降(2 条相关)→
「编程与Agent」频道最新
- 两人小公司用 46 个 AI Agent 运营：审批门禁、哈希锁文件与翻车复盘 — dkovl · 2026-11-12
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- Manhattan 字体 v0.0.1：每个字母都是一个 Python 函数 — allanyu_ · 2026-11-12
- 用 Backplane「提示词造出」任意扩展卡,网友呼吁扩展口回归标配 — _Stocko_ · 2026-11-12
- Agent 会话跑了 51 分钟烧 24.8 万 token,网友直呼还在干活 — _Stocko_ · 2026-11-12
- 可视化 AI Agent 团队协作：每个 Agent 一间「房间」，共享知识库 — LiorAloni11 · 2026-11-12