单张 RTX 4090 全本地生成 4 分钟音乐视频:74 个镜头逐拍对齐鼓点

PatBQc · reddit · 2026-10-24

Reddit 用户 PatBQc 完全在单张 RTX 4090 上本地制作了 The Flaming Lips《Pompeii am Götterdämmerung》的 4 分钟粉丝音乐视频,不用云端与付费 API,并公开完整管线:

节奏驱动剪辑:用 Demucs htdemucsft + BS-RoFormer 分离音轨、beatthis 检测节拍(约 70 BPM,每小节 3.42 秒),74 个镜头逐一卡在鼓点网格上,爆发与鼓点回归等重音精确落点;再用 Python+OpenCV 做音频响应(底鼓缩放冲 punch、贝斯驱动光晕、军鼓微闪)。
生成管线:Qwen-Image 2.1(int8+turbo LoRA,8 步,单图 2–8 秒)产出约 300 张设定图与每镜头 3 张关键帧;MiniMax H3 Ref2VA 以关键帧为首帧、用鼓/人声 stem 作参考音频生成视频,153 条 take 覆盖 74 镜头约 4 GPU 小时;演唱镜头用 LatentSync 1.6 对口型(去混响后人声);SeedVR2 7B 放大到 1080p(每镜头约 4.5 分钟)。
自动 QA:每条 take 用 ArcFace 查身份、DINOv2 查隐藏切镜与形变、SyncNet 查口型、本地 Qwen3-VL-8B 当评委查解剖/重复/穿帮,再人工过 contact sheet 复审(模型评委误报率不低)。
成片:自写 Python+ffmpeg 剪辑合成,官方音轨不动;三种视觉风格贯穿(写实庞贝、迷幻活体文艺复兴画、宇宙超脱)。

作者称经验教训在评论区补充,并欢迎提问。

「多模态」频道最新