EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos
Shulin Tian, Junsu Kim, Shuai Liu, Hao Li, Yujiao Shen, Sihan Li, Zhe Yang, Yeongon Kim, Feiyu Li, Jialin Wu, Yichi Zhang, Wenhui Wang, Runmao Yao, Yuhao Dong, Zhaoxi Chen, Fangzhou Hong, Antonino Furnari, Jingkang Yang, Hongyuan Zhu, Ziwei Liu
cs.CV
2026-09-30
发布 100 小时第一视角工具使用数据集与 1000 题诊断基准:Gemini-3.1-Pro 仅 66.9%(人类 83.2%),微调 Qwen3-VL-8B 后升至 60.9%。
真实世界的具身任务大多是工具介导的:拧螺丝要选对扳手,切芦笋会发现剪刀剪不动、换刀更快。理解这类活动要同时追踪手-工具-物体的几何关系、流程推进到哪一步、每个动作对目标物体造成了什么。视频多模态模型在 caption 和通用 video QA 上分数很高,换到这种推理上明显掉线。
卡点在数据和评测两侧。主流第一视角数据集(EPIC-KITCHENS、Ego4D、Assembly101、HOI4D)围绕活动、物体或手-物体交互组织,动作标注写到「炒鸡蛋」就停了,锅铲和平底锅在标注里是隐形的;评测侧也没有隔离工具介导推理的基准。EgoTools 用三件套同时补两个缺口:100 小时稠密标注的第一视角语料、1000 题四轨道诊断基准、18 万条指令微调样本。
EgoTools-Data 用 HOMIE 头戴设备采集(四个鱼眼相机、音频、运动信号),矫正后取前左路 RGB 作主视角,1024×1024、20 FPS,覆盖厨房、教室、实验室、修理车间、手工、办公、家务七个领域。采集分两种设定是个明确取舍:结构化任务引导保证任务边界清晰、标注可靠;开放式拍摄只给一个大方向,参与者自然产生工具替换、试错和纠错,工具因果叙事主要来自后一部分。
标注三条线并行:
训练池与基准池在源视频层面零重叠(基准保留 40.34 小时)。训练池导出 184,679 条指令样本,37.8% 直接监督基准考察的四种能力,其余是 episode 级选择题、通用 video QA 和 caption 补全。EgoTools-Bench 共 1000 题、8 选 1(随机 12.5%),平均每题时间跨度 4.19 分钟,四条 track:Affordance & Causality 363 题、Perception & Grounding 236 题、Procedural Dynamics 222 题、Spatial Reasoning 179 题,900 题人工撰写、100 题由 3D 标注生成后人工校验。独立信度研究抽 250 题做双盲双人判,与标准答案一致率 89.8%,94.4% 的题被确认有视频可支撑的唯一最优答案。
| 模型 | EgoSchema | EgoTools-Bench | Perception & Grounding |
| 人类专家 | – | 83.2 | 85.2 |
| Gemini-3.1-Pro | – | 66.9 | 51.7 |
| GLM4.1V-Thinking | 66.1 | 50.7 | 50.0 |
| Qwen3-VL-8B-Instruct | 69.0 | 50.0 | 45.9 |
| EgoTools-8B(微调后) | 67.6 | 60.9 | 59.7 |
几个关键读数。最强的 Gemini-3.1-Pro 整体 66.9%,Perception & Grounding 只有 51.7%,比自己另外三条 track 低 18 到 23 分;开源 instruct 模型整体落在 38.9% 到 50.0%,与人类的 83.2% 差 30 分以上。同一个 Qwen3-VL-8B-Instruct 在 EgoSchema 拿 69.0%,在 EgoTools-Bench 只有 50.0%,通用第一视角活动理解强不等于工具使用推理强。
微调有效但偏科。单阶段全参 SFT(冻结视觉编码器)把 Qwen3-VL-8B-Instruct 从 50.0% 拉到 60.9%:Affordance & Causality +9.3、Perception & Grounding +13.8、Procedural Dynamics +11.0,Spatial Reasoning 反降 11.0 分;EgoSchema 从 69.0 微跌到 67.6。
输入消融(同一 backbone,帧列表管线,与主表的 MP4 协议不完全可比):64 帧有序 51.7%,同样帧数打乱顺序 49.3%,只给中间一帧 46.9%,纯文本 42.7%。纯文本比 12.5% 的随机线高 30 个百分点,反捷径过滤后仍残留语言先验。分轨道看,Perception & Grounding 最依赖视觉证据(比纯文本高 13.9 分),Procedural Dynamics 对时间顺序最敏感(乱序掉 3.2 分),Spatial Reasoning 主要吃多帧覆盖(单帧掉 11.9 分)、对顺序不敏感(乱序只掉 1.1 分)。
四条 track 分开报告,能定位模型弱在感知 grounding 还是流程或因果理解。Perception & Grounding 是全场公共短板,连 Gemini 都只有 51.7%,「看清具体是哪把工具、碰到哪个物体」仍是视频模型的硬瓶颈。
对做训练数据的人,18 万条样本在源视频隔离下换来 10.9 个点,证明这套标注是可用的监督信号,不只是造基准的中间产物。数据集和微调后的 8B 模型都已放出,可以直接继续训练或混进自己的配比。边界同样清楚:Spatial Reasoning 微调后反降,这套配方补不了空间推理。
论文自认的:基准题源长尾,多数题来自厨房视频,所以只按 track 做主分析、不按域报告;人类评测可自由观看回放,模型固定 64 帧预算,条件不对等;在 EgoPlan 上迁移为负(42.3 掉到 35.2),结论被明确收窄到工具中心推理的训练价值。
读下来另有几点存疑。纯文本能拿 42.7%,残留的语言先验对一个诊断基准来说偏高。100 小时全在亚洲的高校场景由学生和研究者采集,专业流程的覆盖深度有限,换到工业或野外场景未验证。Spatial Reasoning 降 11 分只被归为「当前训练配方的局限」,没有归因实验。训练混合里有 69,554 条 episode 级选择题,与基准同为选择题形态,+10.9 分里多少来自能力、多少来自格式适应,论文没有单独拆出。