上交大等提出 Harness-S：用兄弟 Harness 拯救失败 rollout 训练通用智能体

SJUT1 · hf · 2026-11-06

上海交大、小红书、CMU 等机构的论文提出 Harness-S，一种选择性 harness 拯救训练方法，用于训练更通用的 agent。

核心观察：同一基座演化出的 harness 变体呈现局部性、互补性与非平稳性——不同变体修复不同类型的失败，其效用随策略学习而变化。
方法：构建一个可复用的「兄弟 Harness 池」（Sibling Harness Pool）；只有当基座 harness 下所有初始尝试都失败时，才调用补救训练——同一策略在选定的辅助 harness 下重新生成 rollout，用这些轨迹替换失败的组做强化学习。
自适应路由：Adaptive Harness Router 依据 Harness Behavior Profiles 和多 LLM 投票选 Top-k 变体，并用策略感知的 profile 重锚定随学习刷新。
结果：在 AppWorld、SWE-Gym、DBBench 上，训练后的策略显著优于仅用原基座 harness 训练的策略；行为分析与留出案例分析证明 harness 激发的行为确实迁移进了策略本身；将路由器复用于 Rank-1 推理还能在相同 rollout 数下获得额外收益。

「编程与Agent」频道最新