TimeLens2 用集合式监督提升视频时序定位
MCG-NJU · hf · 2026-07-21
TimeLens2 提出了一种面向多模态 LLM 的通用视频时序定位新方法。
- 目标是更难的设定：模型不仅要理解视频内容，还要在不同视频长度、领域、提问形式和视角下，找出可变数量的证据时间片段。
- 论文认为，现有训练方式与这种“集合型”任务不匹配，尤其是长视频标注和强化学习奖励都存在偏差。
- 为此，TimeLens2 从端到端把证据当作“区间集合”来处理，并提出：
- TimeLens2-93K：通过 caption 提议、独立定位、跨智能体一致性、语义验证和边界细化构造的多片段监督数据集。
- 时间 Wasserstein 奖励：基于区间支持集之间的精确一维 Wasserstein 距离，提供无需匹配的稠密反馈。
- temporal IoU：补充更精确的重叠反馈。
- 在 7 个基准上，2B 版本在同规模对比中全部领先；4B 和 8B 版本达到 SOTA，并超过参数最高达 397B 的开源模型。
- 相比 Qwen3-VL backbone，2B/4B/8B 分别提升 14.2 / 13.0 / 18.1 mIoU。
所属事件:TimeLens2 刷新 7 项视频时序定位 SOTA(2 条相关)→
「多模态」频道最新
- Magnific 预告 10 月 28 日上线新功能：「We're making it move」 — cuenca · 2026-10-27
- Midjourney --sref 实测：美式复古风 Batman 插画三连 — gizakdag · 2026-10-27
- AI视频既非电影也非动画，创作者称它最擅长呈现梦境与潜意识 — Kyrannio · 2026-10-27
- 把儿子 31 年前的童言写成歌再喂给 SUNO：一首「大象饮料」儿童合唱 — NathanpmYoung · 2026-10-27
- RTX 3060 本地产 AI MV 播破 20 万:900 张图留 64 张,3 秒切片防崩脸 — Hwang0500 · 2026-10-27
- Firefly 视频编辑器实测：一句话 Quick Cut 将 32 秒素材剪成 20 秒 — LudovicCreator · 2026-10-26