全本地 AI 生成音乐视频长文:从 prompt 到对嘴 MV 的完整工作流
julianharris · x · 2026-11-15
前 Google 工程师 Julian Harris 发布一篇长文,完整记录他用全本地 AI 从一句 prompt 生成一支音乐视频的实践过程。
- 覆盖的环节包括:prompt 生成音乐、音轨分离(stemming)、节拍检测、"prompt to edit" 图像生成、给 MV 加对口型(lip-sync),以及微调模型为 3D 场景添加 AI 质感。
- 文章回顾了生成式 AI 几年的演进:从 2019 年他在会议上演示的 "prompt-to-bird",到 "Will Smith 吃面条" 等标志性翻车现场,指出当时看来像科幻的技术如今已可本地跑通。
- 作者强调流程实际远比 "prompt → 音乐 → 视频" 复杂,文中详细写了各环节的工具选择与踩坑。
「编程与Agent」频道最新
- Claude Code 专用 Database Architect Agent:让 AI 提前做数据库架构设计 — adnan_hashmi · 2026-11-15
- Teknium 转发:Hermes agents 编码效率已远超 Claude Code — Teknium · 2026-11-15
- Adobe 换帅并预告 Photoshop 等四大软件的本地 MCP 集成 — shashib · 2026-11-15
- 作者构建 CodeClimb:用评审 agent 自动取舍 GraphRAG 优化实验 — blaizedsouza · 2026-11-15
- 15 年程序员用 Claude 做出首款 Steam 游戏,自研 Rust 引擎 — schiehll · 2026-11-15
- 开源机票搜索 MCP 工具:拆分联程自动标注「无保护衔接」 — Fast_Entrance7839 · 2026-11-15