EgoTools 发布:100 小时第一视角数据揭示视频模型工具推理短板
ropedia-ai · hf · 2026-10-02
研究团队推出 EgoTools,首个面向真实场景第一视角工具使用的综合套件,包含两部分:
- EgoTools-Data:100 小时以工具为中心的第一视角录像,配同步音频、密集字幕、推理旁白及补充 3D 信息。
- EgoTools-Bench:1000 道 QA,覆盖感知、几何、流程、因果四条赛道,诊断模型对可供性、手-工具-物体关系与因果效应的推理。
实验显示现有视频模型难以将工具使用落到视觉证据上:Gemini-3.1-Pro 总体准确率 66.9%,但感知定位赛道仅 51.7%。数据还可用作训练资源:在严格源视频隔离下,全量微调使 Qwen3-VL-8B-Instruct 从 50.0% 提升至 60.9%。
所属事件:EgoTools 发布:百小时第一视角数据集助力 AI 工具推理(4 条相关)→
「具身」频道最新
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- iFixit 拆解苹果 HomeView:满机胶水,维修难度劝退 — Resident-Fall4351 · 2026-11-19
- 移除人类视频后机器人OOD成功率从60%暴跌至7%,泛化全靠人类视频 — gui_penedo · 2026-11-19
- 假肢公司 PSYONIC 的机械手被 90+ 机器人机构采用 — DhowCIO · 2026-11-19
- 仿真器误设导致过度自信:SPEED+ 基准上的sim2real方向性稳健性研究 — Nikolay Dolgov · 2026-11-19
- Doppel 世界模型:先渲染机器人身体,一个模型通吃 8 种具身 — mangahomanga · 2026-11-19