作者用 Suno+ChatGPT+Pika H3 Flex 做全 AI 音乐视频,实测唱词对口型仍有漂移
Inevitable-Bus-8654 · reddit · 2026-11-09
作者继上次 LTX 2.5 说唱 MV 后,用新工作流制作抒情 MV《One Last Bullet》(云海、粉色室内、沙漠场景),并公开完整流程与踩坑。
工作流:
- Suno 生成歌曲;ChatGPT Images 生成同一表演者不同场景/机位的参考帧。
- Pika H3 Flex Ref2VA(基于 MiniMax H3)经 Python+Diffusers 在单张 Runpod H200 上生成;对比后弃用原生 H3 选 Flex。
- 1344×768、24fps,每镜头 6 次模型评估;每个约 5 秒镜头用参考图+对应歌曲片段,唱词对口型靠生成时音频条件注入;FFmpeg 合成。
待改进:人物远离镜头时面部变糊,需替换镜头;特写与环境镜头交替剪辑;对口型部分镜头仍漂移。测试 NVIDIA Open-H3-Regenerate-2K 超分后嘴部时序偏移,暂保持原分辨率。
「多模态」频道最新
- 巨型死神 AI 生成图走红,末日废土风格冲击力十足 — LudovicCreator · 2026-11-09
- 网友用 MiniMax H3 本地 15 分钟做完一支动画音乐视频 — No_Range_8261 · 2026-11-09
- H3 实操技巧:两遍生成法让 AI 角色表演和配音不再僵硬 — infearia · 2026-11-09
- Google AI Mode 上线排灯节照片转贺卡功能 — ctjlewis · 2026-11-09
- AI 生图翻车现场:要求装修设计却产出麦当劳主题脱衣舞俱乐部 — cyrus_zei · 2026-11-09
- 把声道建模成声管网络,开发者自研歌声合成逼真开嗓 — flngr · 2026-11-09