布宜诺斯艾利斯乐队全本地开源管线做音频反应式即兴 MV
XploitXploit · reddit · 2026-10-08
布宜诺斯艾利斯双人乐队 Frame 分享了其即兴演出 MV 的完整本地工作流:
- 采集:DJI Osmo Pocket 3 在绿幕前竖拍一段现场即兴(电子鼓+合成器+santoor)。
- 音频分析:Demucs 把混音拆成鼓/贝斯/其他声部,librosa 提取 onset、节拍与段落。
- 3D 绘画:three.js 页面在 Chrome 无头渲染,抽象 3D 形体与灯光随各声部反应,绿幕抠像合成进画面。
- AI 处理:每帧经 Stable Diffusion 1.5 img2img(LCM-LoRA 10 步)+ Depth Anything V2 深度 ControlNet,1024px,强度 0.59,guidance 2.1,固定 seed;提示词要求水墨笔触填充 Madhubani 图案。
- 防闪烁:全片同 seed,每帧与前一帧 25% 混合;人脸仍有漂移,后续改用沿光流方向混合来稳定。
作者欢迎就任何步骤提问。
「多模态」频道最新
- KAIST 提出 Tetris3D:像拼积木一样生成物理合理的 3D 场景 — kaist-ai · 2026-10-08
- Suno 被赞或将在流媒体领域赶超 Spotify — petergyang · 2026-10-08
- 3.5M 参数小模型用 Looped-DiT 思路做动漫超分，4 次循环递增 0.6dB — NobodySnJake · 2026-10-08
- 港大联合 VAST 推出 Mira-Scene,像素级对齐解决 3D 场景重建错位 — jiqizhixin · 2026-10-08
- 马斯克转发用户实测:15 秒提示词用 Grok Bot 生成完整讲解视频 — elonmusk · 2026-10-08
- AI 虚拟角色 Claudia 开源人格包:MCP 服务器+技能+角色设定全可下载 — Promptmethus · 2026-10-08