TimeLens2 用集合式监督提升视频时序定位
MCG-NJU · hf · 2026-07-21
TimeLens2 提出了一种面向多模态 LLM 的通用视频时序定位新方法。
- 目标是更难的设定：模型不仅要理解视频内容，还要在不同视频长度、领域、提问形式和视角下，找出可变数量的证据时间片段。
- 论文认为，现有训练方式与这种“集合型”任务不匹配，尤其是长视频标注和强化学习奖励都存在偏差。
- 为此，TimeLens2 从端到端把证据当作“区间集合”来处理，并提出：
- TimeLens2-93K：通过 caption 提议、独立定位、跨智能体一致性、语义验证和边界细化构造的多片段监督数据集。
- 时间 Wasserstein 奖励：基于区间支持集之间的精确一维 Wasserstein 距离，提供无需匹配的稠密反馈。
- temporal IoU：补充更精确的重叠反馈。
- 在 7 个基准上，2B 版本在同规模对比中全部领先；4B 和 8B 版本达到 SOTA，并超过参数最高达 397B 的开源模型。
- 相比 Qwen3-VL backbone，2B/4B/8B 分别提升 14.2 / 13.0 / 18.1 mIoU。
所属事件:TimeLens2 刷新 7 项视频时序定位 SOTA(2 条相关)→
「多模态」频道最新
- Midjourney 风格参考分享:--sref 2912175708 — tisch_eins · 2026-09-11
- Astra 分镜+Minimax H3 分镜逐帧生成，视频创作成功率大增 — Hailuo_AI · 2026-09-11
- Hailuo 转推：MiniMax H3 MAX 一发生成 15 秒美食动画短片 — Hailuo_AI · 2026-09-11
- MiniMax Music 制作工具包 2.5 发布,新增完整母带处理链 — Vivid_Promise1700 · 2026-09-11
- ComfyUI 新节点发现器上线:按 star 增速过滤最新热门节点 — Luke2642 · 2026-09-11
- 用 MiniMax H3 MAX 对一只蚊子放大招,蚊子毫发无伤 — Hailuo_AI · 2026-09-11