EgoTools 发布：百小时第一视角视频教 AI 理解工具使用
liuziwei7 · x · 2026-10-03
南洋理工大学 S-Lab 联合 ASTAR、KAIST 等机构发布 EgoTools，研究 AI 能否理解人类在真实第一视角视频中为什么用工具、选什么工具、如何使用。
- 数据集：100.37 小时真实世界第一视角（egocentric）视频，覆盖厨房、实验室、维修车间、教室等 7 个日常场景。
- 评测基准：约 1000 道跨四个赛道的工具中心推理问题，流程为「定位工具 → 跟踪使用 → 推理解释」。
- 参考模型：EgoTools-8B（8B 参数），在相同 64 帧设置下整体准确率从 50.0% 提升至 60.9%（+10.9 pp）。
论文、代码、数据与模型均已开源（arXiv/GitHub/Hugging Face），并附 3D 展示与排行榜。
所属事件:EgoTools 发布百小时第一视角工具使用数据集(3 条相关)→
「多模态」频道最新
- 实测:ComfyUI v0.38 让 MiniMax H3 图生视频提速至少 16% — mwhjose · 2026-10-03
- LTX 2.3 速度快但常无视提示词,CivitAI 上 LoRA 也渐少 — Fit_Satisfaction2953 · 2026-10-03
- Reddit 用户用 Opus 5+Seedance 造出动漫 AI 僚机 demo — EndlessMendless · 2026-10-03
- AI 视频真实度到哪一步了？Reddit 热议配真机实拍对比 — Solar-Guardian · 2026-10-03
- KAIST 推出 World Observer:全景观察者让世界模型看视野外世界 — Scobleizer · 2026-10-03
- 网友把 YEDP UV Painter 接入 Flux Klein 跑通自建工作流 — o0ANARKY0o · 2026-10-03