单卡 5090 用 ComfyUI 做完 3 分 20 秒 AI MV:LTX 对口型 + Wan 2.2 演技
keto_brain · reddit · 2026-11-05
一位创作者公开了用 RTX 5090 在 ComfyUI 中全流程渲染 3:20 AI 音乐视频《Low Battery》(两个角色、42 个镜头)的完整节点链与踩坑记录,Claude Code 负责写脚本构建图和剪辑,全程未开视频编辑器。
核心技巧:让 LTX 对你的伴奏对口型
- LTX 是音视频联合模型,直接让它唱歌会自己生成音频;解法是用 Demucs 分离人声,经 LTXVAudioVAEEncode 编码后用 SetLatentNoiseMask(mask=0) 冻结音频流,采样器只生成视频;LTXVConcatAVLatent 拼接后用 SamplerCustomAdvanced(cfg 1.0、euler、ManualSigmas)采样。
- 用 LTX 2.5 distilled int8(transformer + Gemma 编码器均 int8),比 2.3 快约一倍;1280x704@24fps,帧数 8k+1,音频长度必须与帧数严格一致否则嘴型漂移;VAEDecodeTiled temporalsize 96/overlap 16 防 32GB 显存溢出;CFG=1 时负面提示词无效,全写进正向。
非唱歌镜头用 Wan 2.2 I2V(14B,Lightning LoRA 0.3,5 步分 2+3,RIFE 2x 到 24fps)
- 121 帧(约 10s)是甜点,133/141 帧只会漂回第一帧;
- 第 0 帧是拼接静帧,要剪掉;
- 提示词写动作序列而非状态("开门、上车、坐下"而非"坐在驾驶座");
- 让 Wan 自己完成「进入」动作,剪贴人物进车内会僵住,贴车旁则能开门入座;
- 预裁剪输入到 1024x704;
- 镜头交接:Wan 的收帧作下一个 LTX 唱歌镜头的起始静帧,给 LTX 空手避免道具乱挥。
其他踩坑:"slow push-in" 会失控成极端特写,锁定相机在合成器里做运动;平静种子稳定胜出,每句歌词只加一个小动作;从 mp4 抽帧加压暗做种子会把 h264 块动画成爬墙方块,用无损 PNG。42 镜共拍了 61 次 LTX + 33 次 Wan,靠 contact sheet 选片。成本仅 ElevenLabs 歌曲约 8800 credits、Claude 订阅和约 1 美元电费,模型全部开源。
所属事件:创作者用单张5090全流程制作3分20秒AI音乐视频(2 条相关)→
「编程与Agent」频道最新
- 手把手自建 Agent Harness：记忆、权限门与子智能体全流程 — PawelHuryn · 2026-11-05
- 六个 agent harness 横向对比:115 行与 140 万行的功能差距 — PawelHuryn · 2026-11-05
- agent harness 的上下文窗口机制:只追加、永不改已发送内容 — PawelHuryn · 2026-11-05
- agent 工具层拆解:五个本地工具加服务端 web search — PawelHuryn · 2026-11-05
- 1200 行 Python 写出迷你 Claude Code,Terminal-Bench 反超官方 — PawelHuryn · 2026-11-05
- 面试官爱问「MCP 与 API 有何不同」，这样答不会翻车 — Ok-News-7546 · 2026-11-05