AREX-2: Advancing Self-Improving Agents through Long-Horizon Reflective Tasks
Hongjin Qian, Chaofan Li, Kun Luo, Wenqing Wei, Jianlyu Chen, Shuqi Lu, Yuyang Hu, Hongwang Xiao, Hui Wang, Chaozhuo Li, Qiwei Ye, Zhicheng Dou, Defu Lian, Zheng Liu
cs.AI
2026-09-30
BAAI 用多轮改进轨迹微调 Qwen3.8-27B，MLE-bench Lite 得 81.8 表中最高，能力迁移到深度研究。
Agent 系统都靠「试、测、改」的循环干活，但循环大多写在 scaffold 里：什么时候重试、保留哪个版本，由外部 harness 决定，模型每次只交一版方案。AREX-2（智源 BAAI）要把循环搬进模型权重：给更多轮预算，模型自己判断改什么，分数随之更高。论文把这叫 self-improvement，即单任务内部的 test-time scaling。
卡点在训练数据。主流 agent 数据按单次尝试构建：出题、生成、验证器判对错、只留通过的。失败的尝试、收到的反馈、随后的修改全部丢掉。一个 agent 在一道题上磨几个小时、分数从基线一路爬升的轨迹，在训练数据里几乎不存在。没见过「怎么改」，测试时自然不会改。
核心假设：判断方案差在哪、决定改什么、失败后接着来，是不绑定领域的元技能，可以在好监督的领域练成再迁出去。论文用两项能力拆解：reflection 决定平均每轮增益 r̄，long-horizon execution 决定有效轮数 T\，总提升约等于两者乘积，预算再多也只帮到 T\。
数据三步构建：
训练细节最见心思：整条轨迹进上下文，loss 只打在推进问题的决策上，比如诊断失败、修复、换策略、提交改进版；轮询、空转、重复调用不打 loss。模型学的是怎么走出失败，失败本身只当背景。
AREX-2 就是 Qwen3.8-27B 在这批轨迹加原 AREX 深度研究数据（未改动）上微调的结果。新增数据里没有一道搜索题，深度研究基准上涨的分只能来自迁移。
| 基准 | AREX-2（27B） | 对照 | 差距 |
| MLE-bench Lite（Any Medal） | 81.8 | Naive-N0.5-Flash 73.7；GPT-5.6 Sol 72.7 | +8.1；+9.1，表中最高 |
| Frontier-CS | 70.7 | Kimi-K2.7-Code 54.7；GPT-5.6 Sol 76.4 | +16.0，开源最高；距闭源最强 5.7 |
| BrowseComp | 84.0 | AREX（122B）82.5；GPT-5.6 Sol 90.4 | 超旧版；落后最强闭源 |
| GAIA | 92.2 | AREX（122B）85.4 | +6.8 |
| DeepSearchQA | 93.8 | Kimi-K3 95.0；Claude Fable 5 94.2 | 表内第三 |
过程曲线比总分更有说服力。Frontier-CS 五小时预算内，AREX-2 从 1 小时 54.4 涨到 2 小时 65.9、5 小时 70.7，最后一小时还进账 2.2 分；DeepSeek-V4-Pro 两小时后停在 44.7。BrowseComp 全程不给对错信号，47 turns 时 64.8，143 turns 时 84.0；同流程的 AREX（122B）每 turn 增益只有它的约三分之一，AREX-2 用不到一半的 turns 超过旧版最终成绩，参数量不到其四分之一。
消融（MLE-Lite）：基模型 28.8，加通用 skills 到 41.2，再加任务 skills 和更多轮到 68.2，换训练后的模型到 81.8。同样 skills 同轮数，训练贡献 13.6 分；训练后的模型轮数少也能到 75.8，更多轮再加 6.0。
这给出了一条不用 RL 的路线：拿可验证领域当练习场，把「持续改进」录成 SFT 数据，模型就学会了花预算。27B 在 MLE-bench Lite 超过 GPT-5.6，说明配方在源领域够硬；深度研究四基准全面超过旧版 AREX，说明泛化不是空话。对比表里有 2.8T 参数的模型，27B 放在里面不吃亏。
消融顺带回答了一个工程问题：基模型靠 skills 塞上下文就能从 28.8 到 68.2，MLE-bench 上相当一块分数来自 operational knowledge 而非权重。想快涨分，先把 skills 文档写好；再往上的 13.6 分才是训练买来的。
论文承认，最强的 BrowseComp 和 HLE 上仍有差距：Kimi-K3 在 BrowseComp 拿 91.2，Claude Fable 5 在 HLE 报 64.5（全集口径，AREX-2 的 52.6 是 text-only 子集）。
几个要掂量的点。训练是纯模仿，天花板由 teacher agent 的示范决定，没有超出示范的机制。迁移结论有个前提：模型本来就带着 AREX 的深度研究数据，这里的「迁移」是没有新增数据下的增强，不是从零跨域。部分 baseline 数字是作者自测复现（表中标 \），MLE-Lite 走 OpenMLE 协议、评测时上下文里带 skills，跨论文对比要知道这些前提。训练域只有两个，没有自动评分的开放领域是否同样受益，论文没验证。