OmniVBench 发布:18 项细粒度任务评测全类型参考到视频生成

Wenxue Li · hf · 2026-09-21

新基准 OmniVBench 与配套的 Omni-R2V 数据集发布,针对「全参考到视频」(omni Reference-to-Video)生成这一新兴范式的评测与训练缺口。

基准设计:覆盖 7 大任务族、18 项细粒度任务,横跨内容、运动、风格、结构、叙事及多参考场景。引入基于因子的评测,含 12,172 条针对具体案例的 checklist 项,检验参考因子是否被忠实保留、正确解耦并绑定到目标、按指令正确呈现。

训练数据:Omni-R2V 数据集基于大规模专业视频素材,提供 34 万条处理后训练样本,覆盖多样参考类型与多参考组合,并为参考-目标对构建开发了可扩展的流水线。

结果:对先进开源与闭源 R2V 模型的评测显示,各任务族与评测维度间存在明显性能差距,暴露出当前模型的普遍短板。

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →