Wan-Dancer:分钟级音乐舞蹈生成
pmttyji · reddit · 2026-07-13
Wan-Dancer:分钟级音乐到舞蹈生成
作者提出 Wan-Dancer,用于从完整音乐生成长时长、高分辨率、节奏同步的舞蹈视频,目标是突破现有扩散视频模型在 20 秒左右容易失稳的限制。
核心思路
- 将生成拆成两级:全局关键帧规划 + 局部时间细化,以保证长程一致性。
- 利用完整音乐上下文维持长距离结构连贯。
- 引入 time-mapped RoPE 做动态帧率适配,提升音画对齐精度。
- 使用基于光流的损失增强动作连续性。
- 通过motion-speed control在快速动作下保留细节。
结果与开放内容
- 论文声称在实验中优于传统时长瓶颈方案。
- 可生成超过 1 分钟、720p/30fps 的稳定舞蹈视频。
- 覆盖 5 种舞蹈风格,支持音频和文本条件。
- 已开放模型权重和推理代码,可在 ModelScope Studio 或 Hugging Face Space 体验。
所属事件:Wan-Dancer-14B 开源:支持音乐生成长时长舞蹈视频(6 条相关)→
「多模态」频道最新
- Midjourney 风格参考分享:--sref 2912175708 — tisch_eins · 2026-09-11
- Astra 分镜+Minimax H3 分镜逐帧生成,视频创作成功率大增 — Hailuo_AI · 2026-09-11
- Hailuo 转推:MiniMax H3 MAX 一发生成 15 秒美食动画短片 — Hailuo_AI · 2026-09-11
- MiniMax Music 制作工具包 2.5 发布,新增完整母带处理链 — Vivid_Promise1700 · 2026-09-11
- ComfyUI 新节点发现器上线:按 star 增速过滤最新热门节点 — Luke2642 · 2026-09-11
- 用 MiniMax H3 MAX 对一只蚊子放大招,蚊子毫发无伤 — Hailuo_AI · 2026-09-11