微软论文:把课程学习引入 Agent Harness 自动优化,Pass@1 提升 4-7 点
rohanpaul_ai · x · 2026-10-05
核心问题
现有 agent harness 自动调优方法都在优化「怎么改」(prompts、工具接口、控制逻辑),但训练场景(产生反馈的任务)基本固定。而随着 harness 演进,最有价值的训练场景也会变化。
方法:ActiveSaddler
- 把动态课程建模为非平稳 bandit,动态实例化优化目标
- 将反复出现的失败抽象为可复用的「失败模式臂」(failure-pattern arms)
- 估计继续针对各模式的学习潜力,在「回顾已知弱点」与「探索新场景」之间自适应平衡
- 优化结果持续更新失败模式集合及其优先级,课程与 harness 共同演化
结果
在 GAIA2 与 Terminal-Bench 2.0 上,测试集 Pass@1 分别提升 4.4 和 7.5 个百分点,稳定发现更强的 harness。
所属事件:微软ActiveSaddler引入课程学习优化Agent Harness(3 条相关)→
「编程与Agent」频道最新
- Daniel Miessler:代码只是损耗品,自然语言表达的「理想态」才是第一产物 — JensHonack · 2026-10-24
- 网友用 Grok Bot 管 M5Stack 机器人固件,Hermes 本地跑大脑 — alexcovo_eth · 2026-10-24
- 用 AI 智能体把 30% Git 建模进 Lean 4,证实超 8000 条定理并发现 100+ 潜在缺陷 — kfountou · 2026-10-24
- 4 天 1500 星:REA 逆向工程提示词合集爆火,让编码 Agent 拆解任意软件 — Promptmethus · 2026-10-24
- 实测 Kimi K3.1 Pro 跑 agent 任务:顺序错误致构建连环翻车 — QuixiAI · 2026-10-24
- 老手经验:调教模型别只写 spec,直接跟它对话效果更好 — MoonL88537 · 2026-10-24