多参考音视频生成新基准
KlingTeam · hf · 2026-07-17
这篇工作提出 MultiRef-Compass，用于评估 多参考音视频生成（MR2AV）。
研究动机
现有基准更多关注：
- 文本驱动生成
- 单参考主体保持
- 只看图像或音频/视频中的一部分一致性
但多参考音视频生成要求模型同时处理多个参考，并生成同步的音视频内容，因此更难。
基准设计
作者构建了一个包含 350 个样本 的统一基准，覆盖：
- 多视角主体保持
- 多实体绑定
- 人-物-场景组合
评测协议
定义了 4 个评测维度、共 14 个子指标：
- 基础质量
- 参考一致性
- 音视频一致性
- 指令遵循
并采用“自动指标 + rejudging 增强的 MLLM-as-a-Judge”框架，使评测更可扩展、也更可审计。
实验结论
在 8 个代表性 MR2AV 系统上，作者发现当前方法在多个维度上仍有明显提升空间，说明这个方向还远没有被解决。
「多模态」频道最新
- Magnific 预告 10 月 28 日上线新功能：「We're making it move」 — cuenca · 2026-10-27
- Midjourney --sref 实测：美式复古风 Batman 插画三连 — gizakdag · 2026-10-27
- AI视频既非电影也非动画，创作者称它最擅长呈现梦境与潜意识 — Kyrannio · 2026-10-27
- 把儿子 31 年前的童言写成歌再喂给 SUNO：一首「大象饮料」儿童合唱 — NathanpmYoung · 2026-10-27
- RTX 3060 本地产 AI MV 播破 20 万:900 张图留 64 张,3 秒切片防崩脸 — Hwang0500 · 2026-10-27
- Firefly 视频编辑器实测：一句话 Quick Cut 将 32 秒素材剪成 20 秒 — LudovicCreator · 2026-10-26