Flex-RSI:Agent 自改 harness 基准,Opus 91.6 居首,开源物理稳定分全为 0

Flex-RSI: Benchmarking Recursive Self-Improvement of Frontier Agents

Jingdong Zhang, Jionghao Wang, Zhengming Yu, Yancheng Cai, Wei Chow, Chris Choy, Zhiyang Dou, Hang Hua, Jiachen Li, Zhixuan Liu, Chen Wang, Songlin Wei, Siyuan Yang, Yu Yuan, Xiaohang Zhan, Yucheng Zhang, Shuhong Zheng, Xin Li, Lingjie Liu, Wojciech Matusik, Zhengzhong Tu, Wenping Wang

cs.AI, cs.CV, cs.RO

2026-11-06

Flex-RSI 让 Agent 在 24 个视觉机器人任务上同时改进解法与自身 harness:Opus 5.5 以 91.6 居首,最强开源模型 49.1。

这篇在解决什么

Agent 的表现从来不只是模型本身的事。harness(提示词、工具、记忆、控制循环这层外围程序)同样决定成败,而现有评测几乎都把它钉死:MLE-bench、RE-Bench 只给最终产物打分,一批递归自改进(RSI)工作又盯着大规模模型训练。真正部署过 agent 的人都会撞上同一个问题:给一个新任务和一份固定预算,它能不能靠任务反馈改进自己的工作方式,而不只是把答案改对?此前的 RSI 研究还大多没有在相同起点、相同预算下做配对比较,效果声明缺对照。Flex-RSI 把这个问题搬进视觉和机器人任务,Texas A&M 牵头、13 家机构参与,每次尝试都烧真实算力,比的是几小时到几天内谁的解更好。

方法

设计核心是把「改解法」和「改工作方式」拆开测:

24 个任务分六块:Action 7 个(RoboDojo、RoboCasa、两个 LIBERO 变体等)、Reasoning 7 个(ARC-AGI 1/2/3、视频物理量估计等)、Creation 4 个、Reconstruction 3 个、Perception 2 个、Infrastructure 1 个(VAE 解码器加速)。18 个模型参赛,11 闭源、7 开权重。

结果

总榜按「任务内击败其他模型的比例」计分:

模型总分备注
Claude Opus 5.591.6跑满 20 个任务,11 个拿最佳测试分
Gemini 4 Argon89.0只跑了 9 个任务
Qwen3.8-Flash-Next49.1最强开权重,第五名

177 次运行里 150 次(85%)提高了 validation 分数,中位涨 10.4。闭源模型 94% 的运行在涨、中位 +14.9;开权重 76%、+8.5。3D Tracking 的中位 validation 从 19.4 拉到 62.2,Scene from Photo 从 7.7 到 38.0。增益来得早:Perception、Reasoning 中位第 3 轮就拿到 90% 的增益,Action 和 Reconstruction 要到第 6、8 轮。

四个核心发现:

成本上,单任务中位耗 4970 万 token;token 用量与得分的秩相关为 −0.05,烧钱买不来名次。Opus 只用中位用量的 0.35 倍,Argon 烧 1.66 倍才追到接近的分数;成本图上六个开权重模型得分全在 50 以下,其中五个用量不低于中位。

为什么重要

对部署 agent 的人,结论相当可操作。任务是「agent 自己写程序、写策略、搭流水线」的那种,给预算开自改进是划算的;反馈信号尽量做成连续评分,别用 0/1,开权重模型对此尤其敏感。配对实验第一次在相同起点、相同预算下给出「改 harness 有用」的因果证据,虽然只有七对。负面结果同样值钱:强模型的 harness 不能直接移植,弱模型从强模型跑完的 harness 起步,四个任务只有两个涨分,没有一个接近强模型自己的水平。harness 的改进和模型能力是耦合的,借不来。

局限与存疑

作者自己在结论里划界:测的改进基本都在 harness 层,模型权重全程冻结,大多数任务连辅助模型都没训练,所以不测「模型改自己参数」的能力,权重级自改进留给未来。读下来还有几处存疑:每个模型每个任务只跑一次,没有多种子方差,0.1 分级别的差距做不得数;模型覆盖稀疏,总榜是不同任务子集上的面积均值;配对实验 7 对、harness 转移实验 4 个任务,方向可信、样本偏小;ARC-AGI-3 和 Scene from Video 中位几乎不涨(3.8 到 4.1),这套循环在检查最严的任务上会整体失手,论文对失败原因的拆解不充分。

术语

原文与代码

社区讨论

相关论文

全部论文解读