CMU 论文用 RL 训练 4B 提案模型改 harness 代码,反超 35B 教师
omarsar0 · x · 2026-10-04
CMU 的新论文提出「harness learning」:不改模型权重,而是通过编辑 agent 的 harness 代码来提升表现。
- 用 RL 训练一个提案(proposer)模型,输入任务、当前 harness 与执行报告,输出对 harness 的代码修改
- 奖励信号就是修改后 harness 的任务得分,solver 模型本身始终不变
- 训练出的 4B 提案模型在 Reasoning Gym 的单步修改上击败了自己的 35B 教师模型,包括训练中没见过的任务族
- 在 HotpotQA 上训练的提案模型可以泛化到 MuSiQue 和 2WikiMultihopQA
作者认为「通过编辑 harness 代码而非权重来改进 agent」正在成为一项重要的 AI 工程技能。
所属事件:CMU等提出Harness Learning:4B模型改写Agent框架代码反超35B教师(3 条相关)→
「编程与Agent」频道最新
- 开发者删光全部 ADR:AI 时代代码库本身就是架构文档 — sloppenheimer · 2026-11-20
- Anthropic 开放 Claude 前置部署工程师学习路径,约 9.5 小时学完 — leslysandra · 2026-11-20
- Google 开源 Sashiko:Gemini 驱动的 Linux 内核代码审查 Agent — rseroter · 2026-11-20
- boxd 新增 8 家集成:Dify、n8n、LangChain 等接入其机器 — JensHonack · 2026-11-20
- OpenAI 发布 GPT-Live 提示词指南:多语言与地区口音调法 — pbbakkum · 2026-11-20
- Rippling 推出 AI 应用生成:员工用自然语言就能搭内部工具 — andreisavu · 2026-11-20