Toward Recursive Self-Improvement in Physical AI
Meng Luo, Zechen Bai, Shanqing Xu, Yanlin Li, Kaixin Li, Mengchen Qian, Weifeng Lu, Ran Zhang, Yingtian Zou, Ziyang Luo, Wei Chen, Hongzhan Lin
cs.RO, cs.AI
2026-10-21
五校综述把机器人递归自我改进拆成四级主张:行为、后学、程序改进在真机上有证据,递归两条链零实证,并给出两轮检验判据。
递归自我改进(RSI)指系统改进的对象包括「产生改进的过程」本身,不止是行为。数字 agent 已经在试:STOP 把改进代码的程序对准自己的源码,Darwin Gödel Machine 让变强的 coding agent 修改自己,每个候选版本都有可执行测试兜底。搬进物理世界,这套机制要过四道关:结果判定靠传感器、人工或学习到的检测器,判错会被强化再执行到硬件上;每次尝试都花机器人时间、复位、监督和磨损;练习会改变练习条件(夹爪磨损、标定漂移、物体移位),软件能回滚,损坏的物体不能;可改的对象也从 prompt 和代码扩到控制器、动力学模型和身体接口。
更现实的问题是术语通胀。大量机器人系统自称 self-improving、self-evolving 甚至 RSI,但「行为变好」和「递归」之间隔着好几层没人验证的环节。这篇 NUS 领衔、五校合写的综述(配 GitHub 论文清单)先把话说清:每级主张需要什么对照实验才算成立。
框架先按「经验留下的改变落在哪」分四层:策略(执行动作)、世界模型(预测与练习)、外部知识(复用与恢复)、学习程序(决定收集什么经验、怎么判定、怎么更新)。前三层改机器人做什么,第四层改怎么学,递归只能从第四层往上发生。
其上是四级主张,每级由特定对照确立。行为改进要求同一任务测试下新版本更强;后学收益要求留下的数据、模型或技能让后来的学习者更好;程序改进要求修订后的收集器、评估器或更新器在配平学习者上教得更好;递归再加两条链,R1 是早期修复留下的「修复知识」让改进者本身变强,R2 是变强的改进者参与产出自己的下一次改进。判定递归靠两个对照:冻结知识对照只扣掉改进者习得的知识,固定改进者对照扣掉整个改进环节。固定改进者可以反复改进程序,不满足任何一条链;外部设计者越来越熟练,同样不算系统级递归。
综述还归纳了增益能否传递的四个条件:反馈指向剩余学习需求、接收组件用得上、价值扛得住任务或硬件变化、继续练习安全且付得起。
盘点结论:前三级主张在物理系统里有证据,集中在 manipulation;递归两条链,零项受控实证。数据量和组件精度都不是进展的可靠代理。代表数字(均出自被引研究):
| 系统/研究 | 设置 | 结果 |
| ConRFT | 8 个真机任务在线微调 | 45–90 分钟达 96.3% 平均成功率 |
| VLAC | 4 个真机任务 | 约 30% 提至 90%,200 episode 内 |
| Max-Q 选择性模仿 | 真机 USB 插入 | 半小时达 99%;HIL-SERL 约 5 小时达 100% |
| PLD vs RLPD | 同预算采集、同一蒸馏 | 蒸馏出的通用策略 30/30 vs 16/30 |
| PhysRSI-eval 消融 | GPT-6 Astra,第 4–6 轮 | 扣掉历史信息,15/36 掉到 3/36 |
| FailBench | 2,197 次真机与仿真抓取判定 | 13 个 VLM 检测器最好 0.77 balanced accuracy |
两个反直觉发现:Mirchandani 等发现自主采集的数据收益有限、会饱和,两到四轮后甚至倒退;DexTouch-WM 的世界模型当代理评估器更准了,用它生成的数据替换一半真机数据,三个策略家族的真机成绩反而全降。采集器自身成功率高低,说明不了它攒下的数据有没有训练价值。
对做机器人自改进的人,这份综述给的是实验纪律:声称递归要跑哪两个对照、配平哪些变量、留出哪些失败案例,写成了可执行清单,连两轮实验的硬件成本估算都带了。对做评测的人,第 2.5 节盘点了从 LIBERO 到 PhysRSI-eval 的基准版图:多数基准测某个时间点的成绩,跨轮协议是缺口,PhysRSI-eval 是少数例外。这是立场加综述文章,不带来新系统,但把一个被话术泡涨的概念拉回了可证伪的地面。
作者自述:已评研究集中在 manipulation,导航、locomotion、飞行只支持个别机制;递归增益仍需专门验证;四个条件是诊断透镜,未作为独立构念验证。R2 的控制在知识存进权重时需要专门设计,论文只给了思路。读下来还有两点存疑:四级主张的判据是这篇自己的 operationalization,并行综述(Zhou 等的 L0–L5)分级口径不同,「谁算递归」短期仍会各说各话;引用数字几乎都是单研究内部对照,任务、预算、指标不齐,综述也明说不能跨研究横比。综述回答不了递归在物理世界是否可行,它做的是把这个问题第一次写成可检验的形式。