Where is Physical RSI capability from? An Observational Scaling Law of LLM-as-policy
Zekai Li, Jiayi Yu, Jinlu Zhang, Luyang Niu, Zekun Qi, Jun Zheng, Xuchuan Chen, Dairu Liu, Yintianrun Zhang, He Wang, Li Yi
cs.RO, cs.AI, cs.CV
2026-10-20
六个 VLM 权重冻结，在 18 项双臂任务上只改工作区自改进。Astra 解出 15 项、五轴全高，编码榜更高的 GPT-5.6 Sol 只解出 1 项，Opus 则终分更高但更晚更费。
前沿 VLM 能直接给机械臂写动作，试错时改技能、代码和工具，权重保持冻结。Galbot 把这条循环叫做 physical RSI，也就是物理递归自改进：同一套模型反复吃物理反馈，把工作区里的策略改得更能完成操作。
终分答不了三个问题。起手就做对，和失败之后改对，靠的是不是同一类能力。增益出现在第几轮、省下多少步数，终分里看不出来。留下的代码和笔记，换布局、换任务还能不能用。
现有评测多按回合或时间预算给一个成功率。多试几次就会抬高碰对概率。Astra 曾出现自写修复成功一次、再跑失败。
PhysRSI-eval 因此把权重冻住，只允许改持久工作区。主实验的六个系统都是「模型加运行配置」：GPT-6 Astra、GPT-6.1 Sol、GPT-6 Sol、GPT-5.6 Sol、Claude Opus 5.5、Claude Sonnet 5.5。Gemini 4 单独跑 10 项任务，不进主表。
任务是 RoboDojo 的 18 项双臂操作，覆盖摆放、堆叠、入容器、插入、倾倒、推动和动态抓取，也覆盖官方的 Precision、Long-Horizon、Memory、Open 和 Generalization。难度按官方成功率事先切成六档，D1 为 60%–68.7%，D6 为 0%–0.4%，每档 3 项，评测前锁死。主实验固定 layout 0 和 seed 0，分数在 0 到 1 之间，步数上限 300 到 1300，控制频率 25 Hz。
K0 无工作区，每项 3 次取均。K1 到 K17 才改 Harness：每轮一次物理尝试，关掉动作后再修订，首次成功即停。推理每轮最多 4200 秒，修订 GPT 系 1800 秒、Claude 系 600 秒。K0 到 K1 换过接口，改进从 Harness 轮次算起。
A1 为 K0 均分。A2 把 K1 到 K16 相对起点的平均抬升，除以终点净增益，曲线不改成历史最好。A3 从分数达到「起点加 90% 峰值增益」的 τ90 起，平均后面的分数。A4 只在解出的任务上算省下的物理预算。A5 是 K1 失败任务里后来做成的比例。
17 个公开 benchmark 收成 Spatial、Perception、Coding、Harness 四组名次。观测式 scaling 做两件预测：用其他系统的能力画像，给留出系统排改进幅度和早晚；用参考曲线的形状，靠前几轮校准后外推。清掉历史、冻住工作区换布局、把工作区挪到新任务，用来看留下的文件离了原场景还剩多少。
18 项上，六个系统分别解出 15、12、7、1、13 和 11 项，顺序为 Astra、GPT-6.1 Sol、GPT-6 Sol、GPT-5.6 Sol、Opus、Sonnet。
| 系统 | A1 起手 | A2 时机 | A3 终段 | A4 省预算 | A5 补救 | 解出 |
| GPT-6 Astra | 0.3676 | 0.8594 | 0.8509 | 0.8429 | 0.7500 | 15/18 |
| GPT-6.1 Sol | 0.2843 | 0.8224 | 0.7028 | 0.8081 | 0.5714 | 12/18 |
| Claude Opus 5.5 | 0.1769 | 0.6091 | 0.7444 | 0.5794 | 0.6875 | 13/18 |
| Claude Sonnet 5.5 | 0.1241 | 0.6946 | 0.7006 | 0.6984 | 0.5625 | 11/18 |
| GPT-6 Sol | 0.0306 | 0.4658 | 0.4722 | 0.3718 | 0.3889 | 7/18 |
| GPT-5.6 Sol | 0.0120 | 0.2247 | 0.1037 | 0.3013 | 0.0556 | 1/18 |
Opus 的 A3 为 0.744，高于 GPT-6.1 Sol 的 0.703；A2 为 0.609 对 0.822，A4 为 0.579 对 0.808。终分更高的一方，增益更晚，物理预算也更费。
空间推理与 A1 的秩相关为 0.94，与 A2、A4 为 0.83；感知与 A3、A5 均为 0.94；编码与每一轴都不超过 0.37。GPT-5.6 Sol 在 LiveBench 代码生成和补全上高于 Astra，解出数是 1 对 15。四款 GPT 的公开 benchmark 均分从 54.1 到 78.1，五轴等权平均从 13.9 到 73.4，极差分别是 24 分和 59.5 分。GPT-5.6 Sol 约有 16 轮累积成功接近零。
等权平均四组能力名次，复现了 K17 最佳均分的观察顺序。T50 是最佳均分第一次达到 K1 到 K17 增益一半的轮次。每一对系统用其余四个拟合核回归，谁更早到达，成对顺序全部猜对。τ90 是增益到达峰值 90% 的轮次：Astra 为 K9，GPT-6.1 Sol 为 K7，Opus 为 K15，Sonnet 为 K13，GPT-6 Sol 与 GPT-5.6 Sol 为 K17。
Astra 的 K1 到 K17 均分被拟成 Weibull 模板，只拿 GPT-6.1 Sol 的前 5 轮校准起点、平台和速度，预测到 K17 的平均绝对误差为 0.019。停在最后一次观测分上，误差为 0.112。
历史消融只跑 Astra，6 项任务、每项两条链，布局每轮都换，成功后继续跑。K4 到 K6：完整回路 15/36（41.7%），历史全无 3/36（8.3%），去掉评分反馈 5/36（13.9%），去掉早轮图像 12/36（33.3%），只留工作区和评分反馈 17/36（47.2%）。只留这两路时，略高于完整回路，图像和动作记录再加进去帮助很小。
K6 后冻结工作区，不再修订，换到没见过的布局。12 个来源只靠文件，60 次里成功 25 次（41.7%）；加上原始记录为 23/60（38.3%）。固定布局练出的工作区，换布局后 27/60（45.0%），原布局上 14/16（88%）。分母不同。三例跨任务把首次成功提前了：Sonnet 的 Cover Blocks 由 K9 到 K1，Opus 的 Organize Table 由 K14 到 K7，Deposit Coin 由 K15 到 K8。
按公开均分或编码榜选机器人策略，物理自改进会被排错。LiveBench 编码更高的 GPT-5.6 Sol 只解出 1 项，Astra 解出 15 项且五轴全高。交互预算吃紧时，Opus 终分更高，但更晚、更费，只看解出几项会把这笔差别漏掉。
前 5 轮借同族曲线，后半段误差从 0.112 降到 0.019，不必每次跑满 17 轮。历史一删，后期成功率从 41.7% 掉到 8.3%。冻住的文件换布局仍有 41.7% 成功，特化和可迁移的部分同时存在。
相对只报终点成功率，这是清楚的测量推进。一次成功离可重复执行还远，这篇没有测那一步。
主对照只有六个「模型加配置」，每项任务一条改进链。K0 的三次重复估不出整条链的波动。首次成功就停，记下的是一次成功，稳定重跑要另做实验。A4 和 A5 的任务集合随系统变化，跨模型比较时分母不一样。Astra 去掉补充提示后解出 13 项，主实验是 15 项。
ρ = 0.94 来自六个点的秩相关。论文把木桶说法写成候选瓶颈，不是因果。公开 benchmark 的设置也和这次机器人实验不同。修订时限还不对称，GPT 系 1800 秒，Claude 系 600 秒，模型能力和脚手架绑在同一个「系统」里。
消融和冻结只覆盖 Astra 的 6 项任务。跨任务提前成功是三个首跑案例，没有重复。Gemini 4 用另外 10 项任务跑到 K20，解出 6 项，K0 均分 0.050、K10 均分 0.48，不能和 18 项主表横比。木桶假设和 T50 全对，都还是待查的观察。