NexSight:可验证任务训练长视频 Agent,最强模型仅得 54.5%
nex-agi · hf · 2026-11-19
浙大、同济与上海期智提出 NexSight,针对长视频细粒度问答(动作次数、事件顺序、状态变化时刻)构建可验证的评测与训练任务。
- SightForge 管线只在「盲验证者能从原始视频密集重新采集的证据中重建任务、且反例检验无法驳倒」时收录任务,产出 SightLine:108 个长视频、310 条证据可溯源任务,配套 SightLoop 多尺度交互评测框架
- 最强模型在 SightLine 上仅 54.52%,但给出标注证据时达 79.35%,说明瓶颈在证据搜索而非推理
- 用已验证任务上的求解轨迹做步级监督:不到 6K 样本,Sight-35B 交互准确率从 21.29% 提到 42.26%,超过同家族 397B 模型,并在两个外部长视频基准上涨超 8 分
「研究」频道最新
- 扩散语言模型跨界像素画:tessera-small 开源上线 — thejagstudio · 2026-11-19
- WorldRuler:用规则图让生成式世界模型遵守用户自定义规则 — AlayaLab · 2026-11-19
- PReMind:当个人记忆遇上视觉危险,个性化助手如何正确求助 — SeoulNatlUniv · 2026-11-19
- 循环语言模型 Late Entry 解码:最高 12.5 倍贪心精确加速 — NanyangTechnologicalUniversity · 2026-11-19
- Optimization × AI 论坛 11 月 20 日开讲,北大两场报告聚焦 AI 数学发现 — aaron_defazio · 2026-11-19
- SE3 Labs 开源首个 YAM 真机遥操作数据集:500 条双臂操作轨迹 — paigeinsf · 2026-11-19