Salesforce 论文:先演化 harness 再微调,弱模型七项任务全线下滑
omarsar0 · x · 2026-09-10
Salesforce 的新论文研究 harness(智能体脚手架)与模型的共同演化,发现模型与 harness 的匹配度决定了微调效果:
- 团队先用一个弱模型在七个企业级 agent 任务上演化出专用 harness,再让该模型在同一 harness 下学习更强专家的完整轨迹进行微调。
- 结果七个任务成绩全部下降,Qwen3-Coder 和 Gemma 4 上分别下滑 4 到 30 个百分点。
- 关键对照:同样的微调数据在未演化的 harness 下反而是有效的,说明问题出在 harness 本身——它是围绕弱模型原生规划风格演化出来的。
- 机制分析:模仿学习确实传递了知识、提升了脚手架调用率,但弱模型照搬了专家的规划策略却缺乏执行能力,导致其与围绕自身风格演化的 harness 不再匹配。
- 论文提出的修复方向是不再整体复制轨迹,而是由元级 agent 定位失败的具体轮次做针对性学习。
结论:harness engineering 正成为 agent 训练中的关键变量,"model-harness fit" 值得单独优化。
所属事件:Salesforce 研究：harness 与模型共进化决定微调成败(2 条相关)→
「编程与Agent」频道最新
- Karpathy 公布 CLAUDE.md 十条军规，治 AI 编码技术债 — mdancho84 · 2026-10-26
- Agent 时代依赖取舍新标准：省 20 行代码就别引库 — gethackteam · 2026-10-26
- 纯 Rust 开源 GIS 两周狂揽 2000 星，架构为 AI Agent 而生 — giswqs · 2026-10-26
- Vercel Ship 大会一周发 12 项新品，2700 人到场抢 Agent 入口 — FinanceYF5 · 2026-10-26
- 50 行纯 Python 从零构建 AI Agent:ReAct 循环入门教程 — adnan_hashmi · 2026-10-26
- Muse Wonder 分块 + SAM 3.1,一粒不漏分割整根玉米粒 — nikhilaravi · 2026-10-26