一首歌进、卡点 MV 出：开源管线在单张 RTX 5080 上跑通
Adebrantes · reddit · 2026-10-29
作者发布开源项目 on-the-one（MIT），参加 #OpenSourceHiggsfield 构建比赛，作品《Green Flag》共 44 个镜头，从歌曲直接生成每个剪辑都踩在节拍上的音乐视频，全程本地 GPU、无 API 节点、无积分消耗。
管线分六步：
- Planner：歌词、Whisper 词级时间戳与节拍网格合成镜头清单，每个剪辑落在小节线上，并对齐到正在唱的词
- Animatic：渲染前先出全长动态分镜叠在真实歌曲上，边播边写每镜头导演指令
- Look and cast：锁定美术风格、一次性建角色设定表，每个镜头从参考图取角色，保证主歌和副歌是同一只狗
- Three rolls：每镜头给三个关键帧选项（FLUX Klein），选一个后由 LTX audio-to-video 按该镜头对应的歌曲片段生成动画
- Foley：LTX 生成所需音效，按耳朵挑选后混到歌曲下
- Finish：1080p 放大，再与原音频做帧精确对位
全部跑在一张 RTX 5080 上，工作流发布时已剥离所有 API 节点并有构建检查保证。作者征集后续需求：分步换模型、更低 GPU 档位等。
「多模态」频道最新
- Foyege Draconia 实拍级 AI 人像：发丝与皮肤质感惊艳社区 — nobodyreadusernames · 2026-10-29
- 开源实时数字人方案：单张免费 T4 从 30 FPS 优化到 90 FPS — SavingsWeather1659 · 2026-10-29
- Runway 推出 Character Swap：换视频角色场景且保留原始动作与音频 — runwayml · 2026-10-29
- 30 秒 AI 动画短片《猫头鹰送来的信》，WAN 3.0 制作 — Burak_Antakya · 2026-10-29
- 用一段提示词把图表变动态数据动画，5分钟出商务级视频 — TawohAwa · 2026-10-29
- 博主实测 Claude 驱动 Remotion:5 分钟把图表 Logo 变动画视频 — TawohAwa · 2026-10-29