MIT 提出 surrogate harness training:用全合成环境训练长程 agent
a1zhang · x · 2026-11-20
Alex Zhang 介绍论文中最具实用价值的技巧——surrogate harness training,目标是解决极长、rollout 需数天、奖励稀疏的任务难以直接做 RL 训练的问题:
- 核心思路是利用组合性:把编排型 LLM 的轨迹在 harness 内隔离出来,用完全合成的环境训练其轨迹——借助足够的上下文卸载和程序化工具调用,工具和子调用都可以是假的,rollout 成本极低,然后在真实环境上迁移。
- 这套技巧可递归套用:把学到的能力组合起来,形成 Solve A→B→C→D 的尾调用链,每个阶段都是一条完整 harness 轨迹。
- 配图示意了「合成环境训练 / 真实环境迁移」的分层结构与递归组合方式。
这为昂贵长程 agent 任务的 RL 训练提供了一条用合成数据替代真实 rollout 的可行路径。
所属事件:MIT 论文:LM Harness 是组合泛化器而非弱模型拐杖(10 条相关)→
「编程与Agent」频道最新
- MCP Events 扩展定稿进入 beta,客户端与服务端可开始接入反馈 — dsp_ · 2026-11-21
- Godot 里用 3D 高斯泼溅 + Fable 规划像素公寓布局,含完整教程 — XRarchitect · 2026-11-21
- DevFest Pakistan 2026 明日开讲:从零拆解 Deep Research — gerardsans · 2026-11-21
- mitsuhiko 喊话 GitHub:给 merge=union 老讨论区装个 Clanker 吧 — mitsuhiko · 2026-11-21
- 三个模型分工做游戏:Fable 统筹、Opus 实现、Astra 画 3D — lyraxana · 2026-11-21
- JooVoice 让 Grok 等 Agent 代打国际电话,覆盖 67 国 80+ 语言 — kimmonismus · 2026-11-21