StreamGaze 入选 NeurIPS:首个评测 MLLM 视线引导时序推理基准
mohitban47 · x · 2026-10-03
- 与 Adobe Research 合作的 StreamGaze 被 NeurIPS 2026 E&D track 接收(评分 5/5/4),是首个评测多模态大模型能否利用人类视线信号进行流式自我中心视频时序推理的基准。
- 基准覆盖过去、现在与主动式理解三类推理,含 10 项任务:从视线序列匹配到视野内物体出现时的主动提醒。
- 配套数据构建管线将自我中心视频与原始视线轨迹对齐:通过注视点提取、区域视觉提示与扫视路径构造,生成具有时空定位的 QA 对。
「多模态」频道最新
- Codex+MCP 插件约 1 小时复刻 After Effects 动画视频 — CSProfKGD · 2026-10-03
- invideo 推出多轨时间线 AI 视频编辑 agent,一句话批量改镜头 — azed_ai · 2026-10-03
- Krea2 出图普遍偏软?用户实测多种参数仍难解决 — maxiedaniels · 2026-10-03
- 用 VL 模型三问审查视频生成:运动、主体、背景分开校验更精准 — professr_dumbledore · 2026-10-03
- 字节发布 4 步 DMAD LoRA,H3 视频生成再提速 — linoy_tsaban · 2026-10-03
- Sphere Encoder 2 论文：自编码器 1-4 步生成 ImageNet 图像 — kastnerkyle · 2026-10-03