EgoTools 发布:100 小时第一视角数据揭示视频模型工具推理短板
ropedia-ai · hf · 2026-10-02
研究团队推出 EgoTools,首个面向真实场景第一视角工具使用的综合套件,包含两部分:
- EgoTools-Data:100 小时以工具为中心的第一视角录像,配同步音频、密集字幕、推理旁白及补充 3D 信息。
- EgoTools-Bench:1000 道 QA,覆盖感知、几何、流程、因果四条赛道,诊断模型对可供性、手-工具-物体关系与因果效应的推理。
实验显示现有视频模型难以将工具使用落到视觉证据上:Gemini-3.1-Pro 总体准确率 66.9%,但感知定位赛道仅 51.7%。数据还可用作训练资源:在严格源视频隔离下,全量微调使 Qwen3-VL-8B-Instruct 从 50.0% 提升至 60.9%。
「具身」频道最新
- 荷兰温室用 AI 机器人+机械臂精准采摘成熟番茄 — anselm · 2026-10-02
- PyRUA-Lean 让 GPT-6 Astra 机器人 Agent 成功率升 14%、token 省 65% — DAGroup-PKU · 2026-10-02
- Neuralink 用 5 万小时神经数据预训练解码器，护城河或在数据集而非植入体 — CurieuxExplorer · 2026-10-02
- 建筑占全球 GDP 13%,Gravis 给存量工程机械加自动驾驶 — lukas_m_ziegler · 2026-10-02
- Saga Robotics 机器人在葡萄园夜间用 UV-C 除霉 — TinfoilTricorn · 2026-10-02
- 高中生6周造出捡球机器人,原理同款商用Tennibot卖2995美元 — TinfoilTricorn · 2026-10-02