Do Agentic Policies Need to Look at Every Step? Geometric Abstraction for Reasoning and Action
Yihang Liu, Yiming Chen, Mingzhe Zheng
CoRL 2026 Workshop on Agenti
cs.RO, cs.AI, cs.CV
2026-11-03
把标定深度收成零件符号和检查点,模型不必每步重读图像。搭桥再叠块完成率由24%升至56%,套环耗时减少33.3%。
多模态模型已经能看着机器人场景直接做操作。闭环里还有成本:场景一变,原始图像就要重读,而这一步真正用到的常常只是少数几何量。度量关系这样反复从图像里抽,既不稳,视觉 token 也冗余。
原图信息全,每步都得重新解释。只给中心或包围盒的感知接口又不够做面对齐。关键点约束和可执行程序各管一块之后,还缺给程序读的三维状态:符号结构跨步复用,坐标按当前观测重填。
几何抽象把场景记成一组带类型的三维零件,而不是一个质心或一句含糊描述。零件包括中心、顶点、棱和有朝向的面,带时间戳和证据状态:本帧深度直接看见、由初始化形状先验补出,或遮挡下不可用。
侧视与腕部的标定 RGB-D 加上本体感觉,把深度投到世界系,刷新位姿和尺寸。形状可以保留,位姿必须重估:物体动了就不能抄上一帧,也不能从指令反推。估不出则标成不可用,目标保留,残差不用过期位姿。
符号引用点名零件,例如红色底面、蓝色顶面,执行时才绑定坐标,类似图纸上的孔位号,现场再量。放置取两配合面的中心和外法向,求刚体变换:法向配成相反,中心对齐。绕法向的扭转没有被定死,align 返回最小转角,并报告剩余扭转。支撑查询看高度差、平面重叠和面朝向,回答真、假或未知。真只是几何候选,不是接触或稳定的证明。
每步之后的文本检查点写明当前几何、证据状态和米制残差。符号结构留下,数字按这一帧重填。图像仍可按需再要。
策略合成只在重置回合之间改程序,回合内的几何落地和控制不再调模型。在线执行不重置场景,每步读新检查点选技能,恢复基于动作后的观测。
仿真使用 SO-100,侧视和腕部 RGB-D 已标定。Pixel Reasoning 直接读图,并在生成程序里自写感知;几何抽象另外得到传感器落地的零件引用和检查点。任务书、执行器和初始技能相同,不给仿真真值位姿。合成用 gpt-6-astra 的高推理力度,在线用同一模型的中等力度。
合成从纯观测脚手架出发,五条配对链、五套共享布局,修订三轮。每轮跑完五套布局,回合间重置,执行中不调模型。候选程序必须守住已成功的全部训练布局,并再成功至少一套,否则保留旧程序。冻结后每项任务用 100 个留出布局算成功率。token 含输入、输出和被拒提案,对五条链平均。
| 比较 | 几何抽象 | Pixel Reasoning |
| 搭桥加圆柱,R1 留出成功率 | 45.2% | 21.2% |
| 三块按色堆叠,R1 | 57.2% | 17.2% |
| 上述两项,R2 | 63.4% / 72.2% | 未给出 |
| 上述两项,R3 | 65.4% / 81.4% | 56.0% / 70.8% |
| R2 累计 token,搭桥 / 堆叠 | 67.3k / 64.7k | 125.7k / 138.1k |
| 抓环套桩,R3 | 38.0% | 0.0% |
R2 上几何抽象的 63.4% 和 72.2% 已高于对照跑完三轮的 56.0% 和 70.8%,token 约一半。抓环套桩前两轮都是 0,第三轮只有几何抽象到 38.0%。涨幅含执行期几何落地,推理速度和文本格式没有单独测量。最终搭桥的 token 大体持平,堆叠更低,链间方差也更低。
在线共 300 段,每项 50 对布局。失败不重置。等待和动作共享 200 秒,等待期间物理继续仿真。对比顺序都是几何抽象在前。
| 任务 | 完成 | 时间与开销 |
| 搭桥后再叠两块 | 28/50 对 12/50 | 模型时间少 6.7%,token 多 15.1% |
| 上层两块搬到新底座 | 42/50 对 15/50 | 模型时间少 60.5%,token 少 52.5%;物理执行 104.5 秒对 103.2 秒 |
| 预举后套桩 | 50/50 对 49/50 | 77.2 秒对 115.8 秒,快 33.3%,45/50 对更早完成 |
套桩请求时间由 90.0 秒降到 45.6 秒,token 由 214.5k 降到 101.3k,完成请求由 11.88 次降到 6.90 次,附图由 10.94 张降到 2.72 张。搭桥再叠块的完成率上去了,token 反而多 15.1%。
在线的 200 秒把模型等待算进去,少几轮图像调用会变成任务来不来得及做完。套桩两边几乎都成功,差在时间和附图,10.94 张降到 2.72 张。多步搭建差在完成率:桥上叠块从 24% 到 56%,上层两块从 30% 到 84%。
改动发生在语言模型读取的场景接口上。程序还是 gpt-6-astra 在写或选,物体形状初始化时就给定。本地三维状态若可靠,文本模型就够做常规空间决策。
只测了仿真桌面和规则物体。噪声、严重遮挡、标定漂移都未测。几何估计是轻量 CPU 算法。学习式感知、关节体和可变形物体未做。新类别的形状初始化成本没有另报。
支撑关系判真,只说明几何候选,不是物理稳定。合成阶段的提升没有拆成「程序写得更好」和「多了一个几何 API」。部分 token 去掉了未知的中断用量。桥上叠块少了 6.7% 的模型时间,token 却多 15.1%。少看图不会自动更便宜。更紧凑的检查点格式,论文留到后续。