Viggle 开源视频角色替换模型:一帧重绘替代整套姿态管线
cocktailpeanut · x · 2026-09-05
- Viggle 发布首个开源权重模型 Viggle-Animate,基于 MiniMax-H3 的 ref2va transformer 做 33.1B 全量微调,并用 DMD 蒸馏到仅 3 次前向传播,单 GPU 26 秒生成 5 秒视频。
- 用法极简:把视频中的一帧在任意图像编辑器里重绘成新角色,模型负责把这次编辑传播到整段视频,保持动作、镜头与时间轴不变。
- 核心创新在于抛弃传统管线:不做姿态骨架估计、分割 mask、人脸跟踪,也不用文本 prompt 或身份编码器。参考帧本身就携带了与原片一致的姿态、镜头、构图和光照,无需下游再对齐。
- 效果最强的场景恰是最难替换的:快速运动(甩头、全踢腿、跳跃)能逐帧精确跟随而非糊化。
- 评论区指出这可能是工作流「解绑」趋势的信号:把姿态检测、分割等重活外包给外部图像编辑器只处理单帧,模型因此可以做得很快——以 finetune 形式实现的工作流创新。
所属事件:Viggle 开源视频角色替换模型 Viggle-Animate(2 条相关)→
「多模态」频道最新
- Mistral 发布 Voxtral 3 语音系列，转写模型冲上榜单第三 — ArtificialAnlys · 2026-10-21
- 不写提示词批量产出上百条 AI 视频广告的完整工作流拆解 — tyler_agg · 2026-10-21
- H3 蒸馏 LoRA 打破纪录：SMD 之后 PTD 又上线 — linoy_tsaban · 2026-10-21
- Reddit 热传《The Supply Boat》：质感惊人的 AI 生成短片 — Kooky-Parfait-5495 · 2026-10-21
- 端到端 AI 换脸视频工作流全解：从素材检查到帧对齐装配 — Few-Profession421 · 2026-10-21
- SemBridge 语音模型：说话与唱歌同声同嗓 — multimodalart · 2026-10-21