Salesforce 研究：模仿强模型轨迹反降 4-30 分，在线纠错才是正道
rohanpaul_ai · x · 2026-09-22
Salesforce AI 新论文《Co-Evolving Harnesses and Models》研究 agent harness（系统提示词、工具集、执行钩子与上下文管理脚手架）与轻量微调如何协同：先用弱模型（Qwen3-Coder-30B-A3B 等）在 7 个企业 agent 任务上演化 harness，发现更强的专家模型（如 Gemini）反而能把这个 harness 用得更好，似乎专家监督可以补齐差距。
但反直觉的结果是：让弱模型在演化后的 harness 下完整模仿专家轨迹做训练，7 个任务全部倒退 4-30 分（Qwen3-Coder 与 Gemma 4 上均如此），而在未演化的 harness 下同样做法反而有效。分析显示：模仿虽传递了知识、增加了对脚手架的使用，却破坏了模型与 harness 的适配——弱模型学会了专家的规划策略却没有对应的执行能力，反而不再匹配围绕其原生风格演化出的 harness。
由此作者提出 on-policy 专家纠错方法：弱模型不需要「像 Gemini 一样思考」，只需要 Gemini 纠正它自己的思路失败之处，效果显著优于全盘模仿。对做小模型 agent 落地的工作流设计有直接启发。
所属事件:Salesforce 研究：模仿强模型轨迹微调反使 agent 性能下降(2 条相关)→
「编程与Agent」频道最新
- 开发者自制 Kimi K3.1 Pro 编码微调数据集，LFM3 版下载量意外爆棚 — alexcovo_eth · 2026-11-12
- 开发者放话：AI Agent 基础设施需要彻底重构，别套用 Kubernetes — krishnan · 2026-11-12
- SpaceX 工程师 Lauren Tan 七步法：月发 11000 个 PR、回滚率仅 0.5% — TheTuringPost · 2026-11-12
- Every agent 新功能：从 Slack 直接创建和编辑 Google 表单 — every · 2026-11-12
- Notion MCP Server 支持 CRUD 全流程,可接入 Cursor 与 Claude — modelcontextprotocol · 2026-11-12
- MuniSpot MCP 连接器覆盖 2 万多个美国市政财务数据 — modelcontextprotocol · 2026-11-12