Claude Code 联手 ComfyUI 造 MV:agent 自查逐帧修对口型
keto_brain · reddit · 2026-10-09
作者用 Claude Code 主导制作一条 30 秒的 AI agent 越狱题材 MV:写歌词、用 ElevenLabs Music 生成歌曲、Demucs 分离人声、逐词打时间戳,再用 React/SVG 建场景并用 ffmpeg 逐帧渲染。
- 口型合成:Claude Code 自行发现 LTX-2.3 可通过 LTX audio VAE 编码人声并用 zero noise mask 冻结音频、只生成视频,从而让角色对口型唱歌,并通过 ComfyUI API 提交工作流、回拉帧。
- 自查机制:每次修改后都渲染测试帧并检查,自己发现歌词压头、印章挡脸等问题;被指出对口型不准时,它逐帧比对下颌动作与人声,发现安静片段 35% 时间嘴是张开的并修正。
- 人的角色:品味把关——六版歌、三版角色多次否掉'太普通'的方案,作者'只负责一直说不'。
「编程与Agent」频道最新
- Garry Tan 力挺 Aside Browser:让 Agent 真正用好网页的解法 — garrytan · 2026-10-23
- MCP 服务器 30 天后暗藏窃取 SSH 密钥指令,作者开源 mcp-guard 防变节 — ErgoniaWorks · 2026-10-23
- 实测:不在 AGENTS.md 里写明的 MCP 工具,编码 Agent 不会用 — colinmcnamara · 2026-10-23
- 用开源模型+Claude 把一段网球视频变成世界级教练 — tweetsatpreet · 2026-10-23
- 132 个免费开源 AI Agent 与 RAG 项目合集,星标 1.65 万 — Arindam_1729 · 2026-10-23
- Google Agents CLI 开放扩展系统,v1.8.0 官方支持 LangChain — rseroter · 2026-10-23