从写歌到成片:Reddit 用户晒出完整本地 AI 音乐视频生成流水线
EnvironmentLocal8149 · reddit · 2026-10-22
Reddit 用户分享了自己用 ComfyUI 搭的 AI 音乐视频(MV)生成工作流,从歌曲到成片全链路,并征求改进建议(难点是写实镜头、手部和多人场景易穿帮):
- 歌曲:YuE2 本地生成,配 audio.cpp 做人声分离、语音识别与对齐
- 选角海报:Z-Image Turbo 文生图(1920×1088)
- 关键帧:Qwen-Image-Edit 2511 + Lightning LoRA 出人物图,再用 Z-Image Turbo img2img(denoise 0.3)补皮肤质感
- 演唱镜头:Wan2.2-S2V,关键帧 + 3 秒人声经 wav2vec2 音频编码器生成对口型片段
- 舞蹈/剧情镜头:Wan2.2-I2V 两阶段混合(高噪模型→低噪模型 + 提速 LoRA)
- 顺滑处理:FILM 插帧 ×3(16→48fps)
- 剪辑成片:ffmpeg 卡点、24fps 混合、调色、颗粒、1080p
- 封面:Qwen-Image-Edit 按视频风格绘制
作者还提到用 Claude 辅助迭代到一定程度反而变差需回滚,好奇高质量 parody 视频用的什么方案。
「多模态」频道最新
- Magnific + Seedance 工作流：让 AI 生成的手指精准按下琴键 — techhalla · 2026-10-23
- 蚂蚁 Ming-3.0-tts 仅 0.5B 参数跻身 TTS 前三，MIT 开源 — ArtificialAnlys · 2026-10-23
- Suno 官方盘点五个鲜为人知的隐藏功能 — suno · 2026-10-23
- Meshy 联动 Hermes：$1 买一个月 Pro 含 API 额度 — Teknium · 2026-10-23
- Customuse 推出几何感知 Smart Mesh AI，一键给角色换装 — SimplyAnnisa · 2026-10-23
- AI 生成电影海报《The Chase》：狼、飞机、肌肉车同框的疯狂追逐 — Aggravating-Sir-115 · 2026-10-23