快手提出跨形态视频动作迁移新框架,并发布配套数据集与基准
KlingTeam · hf · 2026-08-04
现有的视频动作迁移方法高度依赖参考物与目标物之间的固定结构对应关系,当两者形态差异巨大时极易失效。快手 KlingTeam 提出了 Motion Beyond Morphology 视角,致力于跨越固定结构限制,保留在不同形态下依然有意义的动态特征。
该方案包含两阶段框架:
- 阶段一:学习多粒度的抽象动作表征,并借此引导生成跨类别的视频对,以提供保留可迁移动态的监督数据。
- 阶段二:将监督信号内化为直接由参考视频驱动的生成过程,在推理时无需显式提取动作。
此外,团队还发布了用于训练和评估的 OpenVMT-Dataset 与 OpenVMT-Bench,涵盖相同、相近和较远类别差距的测试,并在论文接收后开源。实验表明该方法达到了 SOTA 的动作保真度与目标保留效果。
「多模态」频道最新
- Suno 音乐配 Hailuo H3 视频，AI 创作工作流实测惊艳 — techhalla · 2026-08-04
- AI 生成虚拟时尚品牌 Troy 系列短片 — gizakdag · 2026-08-04
- Seedance 2.5 登陆剪映，提供一站式 AI 视频生成与剪辑工作流 — eyishazyer · 2026-08-04
- Minimax H3 本地实测：RTX 6000 Pro 生成 2MP 视频仅需 51 分钟 — JahJedi · 2026-08-04
- MiniMax H3上线TapNow，支持原生2K输出，限时6折 — SimplyAnnisa · 2026-08-04
- Minimax H3 视频生成模型新演示片段发布 — JahJedi · 2026-08-04