StreamGaze 入选 NeurIPS:首个评测 MLLM 视线引导时序推理基准
mohitban47 · x · 2026-10-03
- 与 Adobe Research 合作的 StreamGaze 被 NeurIPS 2026 E&D track 接收(评分 5/5/4),是首个评测多模态大模型能否利用人类视线信号进行流式自我中心视频时序推理的基准。
- 基准覆盖过去、现在与主动式理解三类推理,含 10 项任务:从视线序列匹配到视野内物体出现时的主动提醒。
- 配套数据构建管线将自我中心视频与原始视线轨迹对齐:通过注视点提取、区域视觉提示与扫视路径构造,生成具有时空定位的 QA 对。
「多模态」频道最新
- AI 生成 ARC'TERYX 户外广告片,运镜配乐调色被赞近完美 — gen_ericai · 2026-11-19
- AI 动画短片《Solar Ascendant》:超级英雄猴飞越末日都市 — Solaris-Frame · 2026-11-19
- AI 视频让蒙娜丽莎、梵高、达利跨世纪同框,网友直呼离谱 — sebpaquet · 2026-11-19
- Sound Alike 工具:上传视频找到声音最像的名曲,自动生成 MV — VidaB98 · 2026-11-19
- Seedance 2.5 整段生成「恶人有恶鬼治」短片,AI 视频叙事感渐浓 — anthara_ai · 2026-11-19
- Kling Image 4.0 登 Artificial Analysis 榜单第七,唯一支持原生 8K 输出 — anthara_ai · 2026-11-19