用 Claude 搭建故事转视频流水线:LLM 分镜加 Krea 2 与 MiniMax H3 渲染
hirovomit · reddit · 2026-10-30
作者几乎全由 Claude 编写了一条一键式 story-to-video 流水线,关键设计与踩坑都值得参考:
- 流程:粘贴短篇故事 → 本地 LLM(Ollama)第一遍输出 JSON 分镜与角色卡(每个角色锁定外貌描述),第二遍加载 MiniMax R2V 官方提示词指南逐场景写 prompt → 输出可手工编辑的 plan.json → 渲染可断点续跑。
- 两条路线:Krea 2 逐场景出静帧(绘本式);或用 Krea 2 先生成角色定妆照,经 H3 的 reference-to-video 模式以 <Picture 1> 等标签引用,生成约 10 秒带原生音频的片段。
- 架构选择:Claude 说服作者放弃在 ComfyUI 内做编排——静态图难以循环处理动态数量的场景;ComfyUI 只当渲染农场,Python 脚本走 HTTP API 逐任务排队。工作流用官方模板的 API 导出,按节点标题改名(PROMPT/SEED/REF1..3)后由脚本打补丁;每个引用数单独一份 R2V 导出,因为 LoadImage 不能留空。Claude 还拒绝手写节点 JSON(节点 8 月刚改版无法验证),并给自己的引用接线逻辑写了 mock 测试、抓出了一个按角色表而非场景重要性排序的 bug。
作者现在征集下一步优先级建议:多角度角色照、连贯性审查、首尾帧链接、自动拼接加 TTS 旁白、低分辨率预览审校循环等。
「编程与Agent」频道最新
- Claude API 文档曝光 Agents 等 beta 接口，含托管沙箱会话 — aigclink · 2026-10-30
- 一行代码生成图嵌入：FastRP 默认、GraphSAGE 保属性 — JeremyCMorgan · 2026-10-30
- CodeRabbit CEO:800万美元种子轮已不够造软件,garrytan 反驳看好小团队 — garrytan · 2026-10-30
- GBrain Cloud 上线命令行：一条命令在云端启动 AI 工作区 — garrytan · 2026-10-30
- 为多业务老板设计全家桶 AI 自动化系统:多 bot 协作架构求指点 — Xeriphy · 2026-10-30
- 「物联网的智能体」:一句话定义设备 Agent 的有趣类比 — sull · 2026-10-30