EgoTools 发布:百小时第一视角视频教 AI 理解工具使用
liuziwei7 · x · 2026-10-03
南洋理工大学 S-Lab 联合 ASTAR、KAIST 等机构发布 EgoTools,研究 AI 能否理解人类在真实第一视角视频中为什么用工具、选什么工具、如何使用。
- 数据集:100.37 小时真实世界第一视角(egocentric)视频,覆盖厨房、实验室、维修车间、教室等 7 个日常场景。
- 评测基准:约 1000 道跨四个赛道的工具中心推理问题,流程为「定位工具 → 跟踪使用 → 推理解释」。
- 参考模型:EgoTools-8B(8B 参数),在相同 64 帧设置下整体准确率从 50.0% 提升至 60.9%(+10.9 pp)。
论文、代码、数据与模型均已开源(arXiv/GitHub/Hugging Face),并附 3D 展示与排行榜。
所属事件:EgoTools 发布:百小时第一视角数据集助力 AI 工具推理(4 条相关)→
「多模态」频道最新
- 一张图塞 5 个 LoRA 角色:四方案实测,最好也只有 3/5 正确 — PoleRacers · 2026-11-19
- AI 生成「机器人神父」低垂双手祈祷,教堂场景以假乱真 — MrWoohoo · 2026-11-19
- AI 复刻 80 年代手绘动画风格短片《守门人》第一集 — oultimobuilder · 2026-11-19
- AI 生成 ARC'TERYX 户外广告片,运镜配乐调色被赞近完美 — gen_ericai · 2026-11-19
- AI 动画短片《Solar Ascendant》:超级英雄猴飞越末日都市 — Solaris-Frame · 2026-11-19
- AI 视频让蒙娜丽莎、梵高、达利跨世纪同框,网友直呼离谱 — sebpaquet · 2026-11-19