Beyond the Current Scene: Event-Referential Grasping with Active View Selection
Hyunjoon Lee, Haebeom Jung, Eunsung Cha, Daeun Lee, Yu-Chiang Frank Wang, Jaesung Choe, Jaesik Park
www
cs.RO, cs.CV
2026-09-30
首尔大学与 NVIDIA 提出 BeyondCSe:机器人从事件历史认出「最后动的物体」,主动移动相机找到被遮挡目标,遮挡条件抓取成功率 77%,最强基线 55%。
对机器人说「拿起最后移动的那个物体」，麻烦有两层：目标只靠它在过去事件里的角色定义，当前画面里没有任何能认出它的信息；等机器人接到指令时，它可能已被收进篮子或挡在其他东西后面，初始视野里根本看不到。
现有方法各解决一半。LERF-TOGO、GraspMolmo 这类语言引导抓取只做当前场景内的 grounding,也就是把指令落到画面中的具体物体上，这里没有信号可用;VoLo 这类 VLM(视觉语言模型)编排器能从历史推理出正确的目标描述，论文图 1 里它把描述交给 π0.5 和 Cosmos3-Nano-Policy,两个下游模型都没抓到被遮挡的目标。认出是哪个物体，不等于知道现在去哪里看它。BeyondCSe 补的就是这一环：用事件历史同时决定目标是什么、相机往哪移。
零训练系统，部件全是现成模型:Qwen3-VL-8B 做语言-视觉推理,CoTracker3 做点跟踪,AnyGrasp 出抓取位姿。
视频推理分四步。RECORD 不带指令看视频,输出按时间排序的(动作,物体,涉及物体)事件三元组;SELECT 结合指令产出目标外观描述和区分性事件线索;LOCATE 用线索在初始图像框出候选区域;POINT 在裁剪里点出抓取像素,裁剪缩小了搜索范围,也放大了杯子把手这类小部件。初始图像点不出有效像素时,系统从近到远翻历史帧找匹配像素,用点跟踪串成轨迹,剔除到视频结尾仍可见的候选,再把幸存轨迹用深度提升到机器人基座坐标系,得到 3D 事件轨迹。
遮挡交给主动感知。初始 RGB-D 建 TSDF 地图,未解析区域划为可行搜索空间;目标信念初始化为以轨迹最后一个观测点为中心的高斯,协方差由轨迹末段形状决定,再混入 10% 均匀分布兜底,历史估计错了也搜得回来。候选视角按「一次负观测能压掉多少信念质量」打分,其中关键一处：视线穿过未观测空间时,置信度按穿越距离指数衰减,形式借自 NeRF 的透射率但不学辐射场,免得把「没看到」当成「那里没有」。每拍一帧做一次贝叶斯更新,似然限制在 (0,1],没找到只降权、不排除;每个新视角都用 POINT 再查一次,直到点中目标或视角预算耗尽。
真机平台是 ROBOTIS OMY-F3M 加腕部 RealSense D435i,共 150 次试验,可见目标 50 次、遮挡目标 100 次。基线在原始指令和 Qwen3-VL-8B 推理出的查询两种条件下评测。
| 设置 | 最强基线 | BeyondCSe |
| 初始可见,抓取成功(50 次) | 40% | 76% |
| 初始遮挡,抓取成功(100 次) | 55% | 77% |
| 全部 150 次 | 50.0%(GraspMolmo) | 76.7% |
定位成功率 43/50 与 88/100,比各自最强基线高 32 和 20 个百分点;原始指令下 LERF-TOGO 和 GraspSplats 总体 0%,GraspMolmo 也只有 22.7%。重遮挡对比另用 4 个场景,目标连俯视图都看不见,对手是拿到了目标真值 3D 框的 Breyer et al. next-best-view 方法:
| 方法 | 平均视角数 | 抓取成功(20 次) |
| Breyer et al.(含真值框) | 3.35 | 75% |
| BeyondCSe | 2.20 | 95% |
消融把部件拆开：去掉信念权重,成功率 80%、视角涨到 4.65;去掉透射率衰减,视角 3.10;去掉事件先验,成功率仍 95%,视角却从 2.20 涨到 4.00。事件先验省的是搜索成本,不是成功率。
这篇把「记忆」和「主动感知」接成了一个闭环。结论对做具身智能的人很具体:VLA 或世界模型拿到正确的目标描述,面对遮挡目标照样抓空,缺的一步是让相机自己去找证据。流水线零训练、单卡可跑、部件公开,复现门槛低;重遮挡下平均视角从 3.35 降到 2.20,在真机上是实打实的时间。也要说清,这是系统论文,部件都是已知技术,贡献在问题定义和「体积信念加透射率」的视角选择表述,实验是桌面级规模。
作者自述：目标在搜索期间被假设为静止,边找边动的物体是未来工作；EPIC-KITCHENS 的定性例子里，LOCATE 在大视角变化下框错了区域，靠 POINT 在扩大后的裁剪里救回。读下来另有几处：30 组场景-查询对加 4 个重遮挡场景，规模偏小；指令基本是「最先移动的」「第二个洗的」这类次序模板，自由语言指代没测；事件视频是短桌面序列，96 帧均匀采样，长历史下 RECORD 的表现没有数据；结果全部来自单一机器人。定位真值靠人工标注的 3D 框且不留距离余量，对各方一致，但框的松紧会影响数字。