ReferTrack 用单摄像头跟踪自然语言目标，EVT-Bench 达到 89.4%
tencent · hf · 2026-07-24
ReferTrack 提出了一种用于具身视觉跟踪的 referring-then-tracking 范式。
- 任务场景是：移动机器人只依赖单个前向摄像头，根据自然语言描述持续跟踪指定目标。
- 模型先从一组带编号的检测框中选出目标，再在此基础上解码跟踪轨迹点。
- 为了保留目标运动线索，它维护一个滑动窗口，把历史框的几何信息通过 TVBI tokens 注入视觉历史。
- 论文还用自建的 Refer-QA 数据集联合训练，以增强目标识别能力。
在 EVT-Bench 上，作者报告了单目场景下的 SOTA：单目标、干扰、歧义三项划分分别达到 89.4% / 73.3% / 74.1% 的成功率。论文最后还提到，该方法已在四足机器人和人形机器人上做了真实部署，表现出不错的 sim-to-real 迁移能力。代码已开源。
「具身」频道最新
- 上交大提出 VaM：用价值预测作记忆，机器人连续 4 小时自主作业成功率超 95% — chris_j_paxton · 2026-10-26
- 探访仓储机器人公司 Dexory：8 米扫描塔与全栈自造之路 — lukas_m_ziegler · 2026-10-26
- M5Stack StickS3 固件更新:远程取景支持理光 GR 相机 — OpenAIDevs · 2026-10-26
- 傅利叶 GR-3 裸机状态一次连爬六层楼,下楼无保护绳 — chris_j_paxton · 2026-10-26
- 中科院团队发布 FocusVLA:按操作意图动态切换机器人相机视角 — iscas-cloud · 2026-10-26
- Pandora M1 原型亮相:分布式 GPU 监控的实体硬件设备 — tarantulae · 2026-10-26