Dream What I Can: Sparse Visual Planning for Long-Horizon Robot Manipulation
Chongkai Gao, Wenlong Huang, Haonan Chen, Lin Shao, Yilun Du, Jiajun Wu, Ruohan Zhang, Li Fei-Fei
cs.RO
2026-10-18
无动作视频自动选出稀疏子目标，微调 Wan2.2，0.1B 策略 LIBERO-Long 成功率 91.2%。
视频模型画出的未来常常合理，机器人却执行不了。语言说不清接触点：Push-T 上「把 T 形块推到位」，没有规定从哪一侧推。稠密视频帧帧都定死，误差往后面叠，执行一偏，后续帧就和真轨迹冲突，还得自回归滚完长序列。均匀抽帧会抽进无信息的平移、失败演示的回退，以及低层够不着的状态。
DreamCan 只留少数子目标图。每张要推进任务，也要低层策略够得着。
两层只交换图像，不共享梯度。高层读当前观测和语言指令，输出 K 张子目标。低层是 0.1B 的目标条件 flow-matching Transformer，把噪声收成动作块，同时条件于后面几张子目标。执行中用最新观测重规划，RTX 5090 上每步 1.03 秒。
子目标从无动作视频自动选出。可达性用目标条件离线强化学习：到达前奖励 -1，到达为 0，折扣 0.95，expectile 0.75，偏向数据里回报更高的转移。归一化的 R 等于到达时间上折扣的期望，落在 0 到 1，越大越快、越稳。观测走冻结的 RADIO 特征，时序 Transformer 汇总历史后与目标、语言融合。任务效用 U 是累计进度。多数任务用 LoRA 微调 RoboMeter，只动低秩权重；Language Table 改用 VLM 进度加 SAM 掩码，再归一到 0 和 1。
动态规划在预算 K 里选帧：难转移用可达性的负对数惩罚，加上间隔正则，再减去终点效用。相邻帧至少隔 δ。填表复杂度 O(KL²)。最后一帧强制接上。折纸箱示例是 12 张。
规划器把 Wan2.2-TI2V-5B 的扩散 Transformer 做 LoRA 微调，VAE 与文本编码器冻结。因果 3D VAE 时间压缩比为 4，稀疏图若直接编码，相邻子目标会进同一个隐向量。每张子目标重复 4 次再编码。训练从轨迹中途取观测，配之后的子目标，才能闭环。语言少的任务以概率 0.5 丢指令。另有前缀训练：概率 0.3 只看当前帧，其余锁住一段干净子目标，损失只算尾巴。
低层架构固定，只换规划。LIBERO-Long 379 条演示，Push-T 官方 206 条。前四行共用同一策略。
| 方法 | LIBERO-Long | Push-T |
| 端到端策略 | 79.2% | 58.0% |
| 语言规划 | 75.6% | 62.0% |
| 稠密视频 | 84.0% | 70.0% |
| 均匀子目标 | 82.4% | 72.0% |
| π0（3.3B） | 85.2% | 76.0% |
| SEER（0.3B） | 87.7% | 68.0% |
| π0.5（3.3B） | 92.4% | 86.0% |
| Lingbot-VA（5.3B） | 98.5% | 89.0% |
| DreamCan（0.1B） | 91.2% | 86.0% |
DreamCan 与前四行为 50 次均值。0.1B 未预训练策略超过 π0 与 SEER，Push-T 上打平 π0.5。LIBERO-Long 仍低于 π0.5（92.4%）和 Lingbot-VA（98.5%）。VLA-OS（0.9B）两项为 76.0% 和 72.0%。
摆成线：语言规划 56%，稠密视频 71%，均匀子目标 69%，DreamCan 86%。三条任务对 VLP、各 100 条测试视频，从 56%、78%、15% 到 86%、100%、52%。训练视频 1424、1303、1378 条，每段 15 张子目标，标准形状为论文补跑。FVD 从稠密 233、均匀 258 降到 154。
LIBERO-Long 上拆开动态规划：只留间隔 81.8%，接近均匀子目标的 82.4%；去掉效用 74.2%，去掉可达性 78.0%，去掉间隔 83.8%，三项全开 91.2%。逐段重置后，物体进入下一子目标 5 cm 内算成功，选出的帧接近上限。
可达性跟的是最短路。Square 次优演示中螺母于 t=101 抓住、107 掉落、208 再抓。锚在 101 帧时 R 先降，再抓回到 0.80，状态距锚点 1.4 cm；按时间衰减只有 0.004。
低层只用 100 条熟练演示训完即冻结，规划器再吸收最多 200 条次优视频。DreamCan 随数据变多而上升，稠密视频涨得慢，均匀子目标因回退帧而起伏。摆成线 100 条测试上，锚定搜索优于整段 best-of-N。稠密视频加上同样搜索，仍不如 DreamCan 不搜索时的起点。
真机双臂 YAM，每项 20 次。折箱（100 条遥操作）端到端 5%、稠密 0%、均匀 10%、DreamCan 40%。装箱 205 种组合，110 种各 5 条训练、95 种零样本：0%、5%、20%、65%。六方块摆线，90 条演示、3 种线形：10%、0%、25%、55%。
两边只靠子目标图像说话，任一侧都能单独换。有好子目标时，0.1B 且未预训练的策略可以接近 π0.5。无动作的次优视频只更新规划器。前缀条件让测试时搜索和语言改道直接落地：同一起点采样多条计划，用 VLM 写的进度函数挑一条。
生成从整段稠密视频改成 5B 模型出少数几帧，再加偶尔重采样。低层没有新的接触技巧。
真机折箱 40%、摆线 55%（各 20 次，无方差），标准形状规划只有 52%。可达性假定控制器与录像行为兼容，换强弱不同的低层策略没有交叉验证。π0.5 和 Lingbot-VA 的 LIBERO-Long 数字来自原论文，同协议重跑只做了 Push-T。
正文写均匀子目标优于稠密视频，但表上只有 Push-T 成立：LIBERO-Long 稠密 84.0% 对均匀 82.4%，摆成线 71% 对 69%。
搜索进度函数与训练相同，Language Table 靠脚本检测；不能脚本化时是否还涨，没有另测。语言改道依赖 VLM 现写进度函数。次优缩放只在 Square 上、策略冻结后重训规划器。权重与 K 的敏感性未完整报告。0.1B 只计低层，高层是 5B 的 Wan2.2。