把视觉推理搬进文本:几何抽象让机器人多步操作提速 33%
siddkaramcheti · x · 2026-11-09
Georgia Tech 的 Yiming Chen 等人在 CoRL 2026 Agentic Robotics Workshop 发表论文《Do Agentic Policies Need to Look at Every Step? Geometric Abstraction for Reasoning and Action》。核心问题是：机器人 agent 策略是否需要每一步都查询 VLM 看原始像素？
方法：构建一个 3D 几何抽象层，从标定好的 RGB-D 观测中把场景几何接地为结构化文本与带类型的符号引用(指向物体部件)，每个动作后返回带度量残差的紧凑文本检查点；符号化任务结构可跨决策复用，仅在需要时才调用直接视觉推理。
实测效果(在线套环挂杆任务)：
- 平均完成时间 −33.3%
- 模型请求时间 −49.4%
- 记录 token −52.8%
- 每回合发送图像从 10.9 张降到 2.7 张
结论：把常规空间推理从图像迁移到文本/符号层，能在提升多步操作完成率的同时大幅削减重复多模态查询，显式几何状态可作为 agentic 机器人策略的有效底座。
「具身」频道最新
- NVIDIA 发布 GR00T 2 机器人动作模型，5 条演示任务成功率达 95% — CyberRobooo · 2026-11-09
- CoRL 主题演讲将探讨开源数据与开放硬件推进机器人研究 — micoolcho · 2026-11-09
- PEARL 实验室携 5 篇论文亮相 CoRL 2026,含 MolmoBOT 口头报告 — GeorgiaChal · 2026-11-09
- 开源机器鸭 WonderDuck：仿真训练到真机部署全链路开放 — philfung · 2026-11-09
- 网友:醒来看到整洁的家,才是机器人最好的卖点 — chris_j_paxton · 2026-11-09
- UT Austin 宣布未来几年招聘 50 名机器人终身教职 — DynamicWebPaige · 2026-11-09