VISTA: Active Exploration for Self-Improvement in Embodied Agents
Zhang Zhang, Shengjun Zhang, Simin Huang, Min Chen, Chong Xia, Xin Fei, Yueqi Duan
cs.RO
2026-10-26
VISTA冻结底层模型权重，让编程元智能体在仿真里主动取证并改写机器人harness，把LIBERO-Pro平均成功率从17.5%升到95.0%，RoboTwin从48.5%升到74.0%。
长程操作上，端到端 VLA（vision-language-action 模型，把图像和指令直接映射成动作）会把误差沿轨迹叠上去。接上语言模型做规划之后，能不能做完，很大程度取决于 harness：包在冻结模型外面的可执行控制面，包括指令、技能代码、工具绑定和失败恢复。
多数系统把已经跑完的 rollout（一段完整轨迹）当静态日志，事后改代码。日志里常常没有验证失败假设所需的观测和干预，改动没有回到环境里试过。
VISTA 用一个编程元智能体（meta-agent）改这层控制面。它要自己到仿真里取证。底层策略和规划模型的权重不更新。
在线侧能调用的东西固定：语言模型规划器、一个 VLA、公开的感知与控制接口。搜索只发生在编排上。一份 harness 包含模型侧指令、可执行技能、请求与反馈钩子、过程记忆、工具绑定。技能负责把多步感知和控制串起来。
版本是一张有向无环图，落成 Git 提交，父节点即血缘。默认从当前冠军往下改，也可以退回被拒绝的旧版本，复用其中还有效的机制。失败方案和诊断都留在图上。
一次开发不会读完日志就提交。预算内，元智能体自行选择：翻历史、改代码、从冻结快照开私有仿真做现场诊断，或对中间版本做自主测试。现场诊断可以查看状态，并调用感知和控制去核验一个假设。这些交互只进入开发证据，不进入正式分数。
提交后的候选被冻结，由宿主在声明好的开发矩阵上重新自主评测，元智能体不能再干预。经验成功率高于冠军才替换，打平保留冠军。提前停止要求同一份代码连续多次正式评测满分，确认轮只重测。
内层用新证据改候选，外层只认冻结之后的正式成功率。
权重在三个基准上都不更新。低层策略分别是 LIBERO-Pro 的 π0.5、RoboCasa365 的 RLDX-1、RoboTwin 的 LingBot-VLA。规划器为 GPT-5.6 Sol，元智能体为 Codex 与 GPT-6。LIBERO-Pro 的初始 harness（H0）只露出冻结 VLA 和很薄的观测接口；另两个基准的 H0 由 HarnessVLA 改来，保留提示、钩子、工具和记忆。每个任务单独留一版再冻结评测。LIBERO 每个套件 10 个任务、8 个场景种子、每种子重复 2 次。
| 基准 | 对照 | H0 | VISTA |
| LIBERO-Pro 八项平均 | HarnessVLA 61.1%，π0.5 11.0% | 17.5% | 95.0%（+77.5 个百分点） |
| RoboCasa 已见 | RLDX-1 17.4%，π0.5 6.8% | 16.4% | 24.2%（+7.8 个百分点） |
| RoboCasa 未见 | RLDX-1 6.8%，π0.5 0.9% | 4.7% | 13.3%（+8.6 个百分点） |
| RoboTwin 50 任务 | HarnessVLA 58.0%，LingBot-VLA 50.4% | 48.5% | 74.0% |
Spatial、Object、Goal 前几轮就上升，LIBERO-10 要更长的修改。八项最低是 LIBERO-10 的位置对调，76.9%，该项 H0 为 0.0%。OpenVLA 八项平均 0.0%，π0 为 0.3%。
主动探索对照做在 4 个 LIBERO-Goal 任务上。被动版本可以翻历史、改代码、做正式评测，但不能在开发时打开现场。一轮之后，主动探索平均提高 50.0 个百分点，每任务 42.2M token；被动提高 39.1 个百分点，token 94.2M。两轮后是 85.9 对 56.3 个百分点，累计 token 91.6M 对 137.7M。摘要声称更少的仿真 rollout，正文能量化的效率是 token，没有 rollout 步数对照。
Goal-t09 从 0% 到 56.3% 再到 100%：先写入抬起校验、重分割、有界重试和显式搬运释放；再把抬起参照从接近位姿改到夹住后的连续接触段，接触断开即清证据，夹爪张开由 8 步增至 20 步。Goal-t08 从 50% 升到 68.75% 后，停止规则那一版正式分不动、被拒，旁支的度量放置做到 100%，重测仍是 100%。
可改的是编排，权重不动。同一套冻结的 π0.5，薄接口平均 17.5%，进化后 95.0%，高于 HarnessVLA 的 61.1%。涨幅主要来自校验、有界恢复和少量程序化动作。
费用按任务计。四个 Goal 任务做到两轮，主动探索每任务累计约 91.6M 元智能体 token，并且要前沿编程模型在环。RoboCasa 复合任务只到 24.2% 和 13.3%。长程家务上这是小幅改进。
它适合一个任务、一份预算、在仿真里把 harness 改到通过正式评测。论文没有做跨任务迁移，不能把它当成换任务还能用的通用策略。
评测全在高保真仿真里，真机没有做。论文写明实机会多出传感噪声、动作延迟和未建模接触，后续打算上 Franka 机械臂和移动平台，目前无数字。
开发矩阵就是计分矩阵。重测用新回合，元智能体不再干预，任务初始化却与开发时相同，而且一任务一版 harness。
17.5% 到 95% 比的是薄初始接口。相对成熟系统，应看 HarnessVLA 的 61.1%，VISTA 仍更高，但两边规划器是否相同，论文没有对齐。RoboCasa 的 H0 已接近 RLDX-1，进化约加 8 个百分点，这个幅度更接近现成 harness 上再改一轮。RoboTwin 的 H0 只有 48.5%，低于引用的 HarnessVLA 58.0%，进化到 74.0% 才超过它。
主动对被动只覆盖 4 个任务、两轮，也没有去掉版本图的消融。单任务正式局数是 8 种子乘 2 次，68.75% 就是 16 局里 11 局。晋升只比经验均值谁更大，没有显著性门槛。