北大等发布 Reviso:Agent 式视频描述学会「抓重点」

Tengfei Liu · hf · 2026-11-03

北大、可灵 AI（KlingAI Research）、港科大等机构发布 Reviso，一个 agent 式视频描述（video captioning）框架。核心观察：MLLM 生成视频描述时常过度关注细枝末节而忽略关键上下文与事件——并非所有视觉证据都值得同等注意力。Reviso 通过分层规划与主动感知决定「看什么、如何收集相关视觉证据」：从低帧率全局预览出发，构建分层的 Context-Focus-Points（CFP）观察计划，识别视频上下文、排定关键方面、定义具体观察目标，从而提升描述质量与下游视频理解效果。