SeeQ: Training Generalist Value Functions for Long-Horizon Robotic Manipulation
Saksham Singh, Zheyuan Hu, Max Sobol Mark, Jeffrey Yu, Zackory Erickson, Aviral Kumar
cs.RO
2026-09-19
SeeQ学当前子任务Q值，先语言解码再best-of-N筛动作。四项双臂任务成功率从35.4%提到66.7%。
通用机器人策略在长程操作上很脆。多阶段任务把误差一层层叠上去，精密任务又要在同一阶段反复试、失败后再纠。用 Q 函数给候选动作打分、做 best-of-N 筛选，是现成的补丁：基座出一堆动作块，critic 挑最能推进任务的那条。
任务级稀疏奖励把信用分配拉得很长。Park 等人在 offline RL 里测过，Q 估计误差几乎随 horizon 指数涨。Monte Carlo 回归躲开了自举误差，但目标方差大，学到的仍是行为策略的回报。TD 理论上能超出数据里的策略，可长程 Bellman 备份在覆盖不足的离线轨迹上并不稳。
操作任务有局部结构。终点可以很远，机器人每一刻通常在追一个近目标：先抓住衣架再穿袖，或同一阶段失败后换个角度再试。评估当前子任务有没有做完，视野短过评估整条任务会不会成功。SeeQ 把价值学习改到这个短视野上。
骨干是 3B 的 PaliGemma。先在 RoboCOIN 的双臂子集上预训练，131 个任务、约 4 万条轨迹，再在下游任务上微调。基座策略是 π0.5，同样用目标任务数据微调。训练和测试都从基座采 N=8 个动作块，用 Q 值挑最高的执行。
改了预测目标和模型接口。
相近画面可能对应不同子任务，比如刚扣失败的盖和刚恢复的同一姿势。隐式推断容易给出乱跳的 Q 值。显式解码把「现在在干什么」钉在文本上。备份动作从基座采 N 个候选、取目标 Q 最高的那条（TD-BoN），和测试时的筛选对齐，学到的 Q 对准改进后的动作分布。
四项真实双臂任务，60 Hz，平台是双臂 xArm-7 和双臂 YAM，每项 24 次试验：
| 任务 | 数据 | 基座 π0.5 | SeeQ 筛选 |
| shirt-hang（挂衬衫，386 条） | RaC 纠错 | 10/24 | 22/24 |
| lid-sealing（扣盖，447 条） | RaC | 10/24 | 15/24 |
| grocery-packing（装杂货，473 条） | 专家遥操作 | 9/24 | 17/24 |
| LEGO-disassembly（拆乐高，97 条） | 专家遥操作 | 5/24 | 10/24 |
平均成功率从 35.4% 到 66.7%，约 1.88 倍。shirt-hang 和 lid-sealing 用 RaC 数据：策略跑到要出错时人接手纠正。grocery-packing 和 LEGO-disassembly 是纯专家演示。LEGO 只有 97 条、起始构型还固定，也能从 5/24 到 10/24。定性曲线上，扣盖失败或抓 Pringles 袋失败时 Q 值会掉，恢复后回来；任务级 TD 在整段轨迹上几乎没有信号。
同一骨干、同一预训练、同一微调数据，只换价值目标：
| 目标 | shirt-hang | grocery-packing |
| 基座策略 | 10/24 | 9/24 |
| 任务级 Monte Carlo | 9/24 | 10/24 |
| 任务级 TD | 12/24 | 9/24 |
| 子任务级 SARSA | 13/24 | 10/24 |
| SeeQ | 22/24 | 17/24 |
任务级 MC 和 TD 几乎抬不动基座。子任务级 SARSA 保留子任务奖励和语言解码，但备份用数据集里的下一条动作，增益很小。子任务分解和 best-of-N 备份两样都要。
预训练也省不掉。shirt-hang 上直接从 PaliGemma 微调、跳过机器人数据，成功率 8/24，比基座还差；ResNet-50+MLP 的任务专用 critic（同样 TD-BoN）是 16/24，低于完整 SeeQ 的 22/24。6 条留出轨迹、12582 帧上，SeeQ 对图像的中位梯度范数 0.093，无预训练 0.323，ResNet-50 为 0.494。无预训练模型对动作更不敏感（中位 0.058 vs 0.093），候选分不开。
子任务监督同样硬。shirt-hang 上去掉预测和条件是 8/24；只加预测 loss、价值头不看子任务文本是 15/24；完整解码再条件是 22/24。
这是把通用策略那套预训练配方接到 critic 上：VLM 骨干、大规模机器人数据、语言钉住中间状态。手里已有 π0.5 这类 VLA、又有带子任务标注的离线数据时，可以不改基座，只在测试时筛 N 个动作块，把长程成功率抬一截。
它仍是渐进改进。Q 只在基座给出的候选里挑，候选差就救不了。下游每项任务都还要微调 critic。训练仍要子任务标注；没有时论文提到可以让 VLM 生成，但主实验用的是已有标注。
训练依赖子任务标注。恢复动作和边界附近切成离散 span 本身含糊，合适粒度也因任务而异。测试时子任务预测错了，critic 会按错误目标打分。优化当前子任务会偏向局部进度：装箱时碰倒旁边的东西，当前进度没掉，后续却更难。评估只做固定基座上的 best-of-N，没有用这个 Q 直接改进策略，也没有测少数据或不微调时的迁移。
试验规模偏小：每项 24 次、四个任务、两个平台。lid-sealing 只从 10/24 到 15/24。任务级 MC 在 shirt-hang 上是 9/24，略低于基座，critic 训坏了会拖后腿。无预训练掉到 8/24，互联网预训练的 VLM 不能直接当价值函数用。