TCP4D: A Unified Tool-Center-Point Tracking and Generation Model for Robot Manipulation
Haosong Peng, Xiangyang Liu, Zhengshen Zhang, Yunfeng Fan, Tianyu Qi, Xin Xia, Yufeng Zhan, Wenchao Xu
cs.RO, cs.CV
2026-11-18
TCP4D用一套共享的4D场景表征,从单目视频回归TCP位姿并生成未来轨迹,在DROID上把轨迹误差做到7.60毫米,RoboTwin干净场景平均成功率69.19%。
操作视频很多,和画面对齐的动作标签却常常缺。视觉-语言-动作模型靠动作监督训练,没有同步的关节或末端状态,RGB 就补不出能执行的标签。
能补的是工具中心点 TCP 的位姿,用 SE(3) 写位置和朝向。同一位姿,不同臂只要够得着,就各自做逆运动学,不必共享关节角。
TCP 经常悬在两指之间,投影会落到背景像素。4D 点跟踪只给表面点的三维位置,不给工具朝向。再用机器人先验做多段刚体拟合,误差沿链路往下传。
TCP4D 让跟踪和生成共用一套 4D 场景特征。输入是单目视频,外加第一帧每个臂的一个二维点。
骨干沿用前作 4RC 的视频编码,用 DINOv2,帧内与跨帧交替做自注意力。Dual-DPT 这种稠密预测头输出度量深度和相机射线,射线方向和原点对应相对第一帧的内外参。
TCP 分支只做稀疏查询。参考帧绕查询点取 3×3,加上臂身份,抽四层后送到各帧:交叉注意力读场景,自注意力在查询之间传递。预测平移、6D 旋转、夹爪和置信度,旋转投影到 SO(3)。
单个中心点看不出朝向。监督把 TCP 扩成 7 个虚拟点,中心加上局部三轴正负方向、偏移 3 厘米的点。点对齐同时约束平移和旋转,再加测地线转角、帧间速度和夹爪交叉熵。
生成时,把跟踪平移按预测内参投回图像,取出局部特征,与当前关节、夹爪和带噪未来动作一起送入做动作去噪的 Transformer(DiT)。条件是当前场景、冻结 DINOv2 的腕部图、冻结 T5-base 的指令。flow matching 学习走向动作的速度,推理走四步 Euler。历史 4 帧,预测 32 步,位姿在当前相机系,双臂每步 20 维。
第一段用 DROID 的 33966 条 Franka 片段,其中 90% 训练跟踪器,RoboTwin 另训一个,骨干从 4RC 起步。第二段只在 RoboTwin 上微调并训练生成,每任务 50 条干净示教。跟踪器约 15.2 亿参数,完整模型约 22.7 亿。
跨本体增广不使用录好的源状态。位姿换到世界系,对齐约定后对目标臂求逆运动学。SAM 3 去掉源机器人,视频修复补背景,再渲染目标臂。基座朝向固定,位置可以搜索,整段每一帧都要解成功。RoVi-Aug 和 OXE-AugE 依赖录好的源末端位姿,这里改由 RGB 估计。
DROID 留出 100 条,RoboLab 另有 100 个未见任务。基线并不直接跟踪 TCP,对照来自点轨迹加刚体拟合,还能用到夹爪真值点和模型尺度。TCP4D 只需要第一帧的一个二维点,随后以 9 帧滑窗把预测位置投成下一窗的查询。SE(3) 指标评测前做相似变换 Sim(3) 对齐,未对齐的位置误差是 MPE。
| 数据 | 方法 | APD | ATE | MPE | 成功率 |
| DROID | TCP4D | 74.78% | 7.60 mm | 11.85 mm | 100% |
| DROID | 最强基线 | 14.04%(CoTracker3) | 67.65 mm(MoSE3) | 91.76 mm(CoTracker3) | 89.64%(MoSE3) |
| RoboLab | TCP4D | 43.71% | 16.07 mm | 28.42 mm | 100% |
| RoboLab | 最强基线 | 9.90%(VDPM) | 未单列 | 未给出 | 96.33%(VDPM) |
DROID 上相对旋转 1.03°、相对平移 3.40 mm,夹爪准确率 95.84%(以 0.5 为界)。3 米内深度经逐帧中值对齐,AbsRel 0.0330,MAE 31.27 mm。同表 VGGT-Ω、DA3、MapAnything 的 AbsRel 在 0.199 到 0.228。DROID 上训出的跟踪器放到 RoboLab,AbsRel 0.1718,差于 CoTracker3 的 0.1142。相对旋转 6.80°,差于 MoSE3 的 0.99°。夹爪准确率 81.92%。
DROID 预训练后迁到 Berkeley AUTOLAB 的 UR5。3 条微调把 ATE 从 MoSE3 的 44.56 mm 降到 12.22 mm,APD 从 14.39% 到 48.27%。10 条之后 ATE 8.85 mm,APD 64.28%,夹爪准确率 98.48%。
增广下游用的是 Diffusion Policy。四任务在 Aloha-AgileX 各采 50 条,合成出 ARX-X5 共 199 条、UR5-WSG 共 198 条。源数据混合成数据后,Aloha 平均成功率从 53.5% 到 65.5%。ARX-X5 相对只用合成数据,从 30.5% 到 72.0%,其中 Place Burger Fries 从 12% 到 78%,Click Bell 从 14% 到 70%。UR5-WSG 从 32.0% 到 39.0%。摘要里的 41.5% 就是这台 ARX-X5 上的 41.5 个百分点。
作为策略,48 个 RoboTwin 任务、每任务 100 次,clean2clean 平均 69.19%。ACT 29.25%,RDT 33.92%,DP3 54.27%,π0 45.21%,EventVLA 65.71%。TCP4D 用第三人称,其余方法用头部相机。clean2random 掉到 10.94%,低于 Xiaomi Robotics-0 的 17.85% 和 π0 的 16.15%。训练只用干净示教。
实机在 CoBoT Magic 上做放笔和叠碗,各 60 条示教、各 30 次,逆运动学用 cuRobo。成功率 83.33% 与 73.33%,平均 78.33%。DP3 为 63.33%,ACT 为 31.67%。进度分平均 3.50/4。推理时没有测量深度。
TCP 把读动作和发动作收进同一个任务空间。没有关节记录的 RGB,可以变成示教,也可以变成要预测的未来 32 步。
十段演示把跟踪迁到 UR5,说明没有焊死在 Franka 上。合成数据混进源数据后,ARX-X5 上的 Diffusion Policy 从 30.5% 到 72.0%。UR5-WSG 只到 39.0%,换一台臂不会自动复制这个涨幅。
69.19% 出现在干净场景。随机化后只剩 10.94%,实机也只有两个大位移任务。更适合用来补 TCP 标签、做没有源状态的跨本体增广。把它当成通用策略去换 VLA,这篇给的证据不够。
论文写明 clean2random 掉到 10.94%:生成器只在干净示教上训练,更大规模的多本体数据留作后续。
横比还有几笔账要对齐。跟踪基线用了夹爪真值点和尺度标定,失败窗口只进成功率、不进误差。基线的 ATE 不含失败窗口。TCP4D 成功率是 100%,误差覆盖了全部窗口。ATE 在 Sim(3) 对齐之后才算,未对齐的位置误差看 MPE。RoboTwin 上 TCP4D 是第三人称,其他方法是头部相机。41.5 个百分点来自 Diffusion Policy 的混训,生成器没有在合成数据上重训。UR5 少样本只测了跟踪。增广还要目标模型整段逆运动学都成功,修复伪影和滑窗查询漂移没有单独测。实机只有一个平台、两个任务、各 30 次。