OmniCompass 基准发布：820 视频、1800 小时标注、评测 50 个 MLLM

_akhaliq · x · 2026-10-17

PolyU VCLab 团队发布全模态视频定位与理解基准 OmniCompass（Hugging Face 当日 Paper of the Day），系统诊断多模态大模型的全模态视频理解短板：- 规模：820 条视频、2460 个实例，约 1800 小时人工标注，全部多轮质检 - 两条评测轨道：OmniCompass-VL（视觉-语言）与 OmniCompass-AV（音视频联合证据，含叙事/音频丰富子集）- 三项核心任务：时序定位、空间定位、问答；覆盖短/中/长三类视频时长 - 每个实例在纯文本与文本+图像两种目标指定方式下成对评测，检验跨指定一致性 - 对 50 个 MLLM 的评测发现：开源模型仍明显落后闭源模型（音视频理解差距尤大）；精确的时空定位与细粒度感知是普遍弱点，感知弱的模型在两个轨道上均表现吃力。