Viggle 开源视频角色替换模型:一帧重绘替代整套姿态管线

cocktailpeanut · x · 2026-09-05

Viggle 发布首个开源权重模型 Viggle-Animate,基于 MiniMax-H3 的 ref2va transformer 做 33.1B 全量微调,并用 DMD 蒸馏到仅 3 次前向传播,单 GPU 26 秒生成 5 秒视频。
用法极简:把视频中的一帧在任意图像编辑器里重绘成新角色,模型负责把这次编辑传播到整段视频,保持动作、镜头与时间轴不变。
核心创新在于抛弃传统管线:不做姿态骨架估计、分割 mask、人脸跟踪,也不用文本 prompt 或身份编码器。参考帧本身就携带了与原片一致的姿态、镜头、构图和光照,无需下游再对齐。
效果最强的场景恰是最难替换的:快速运动(甩头、全踢腿、跳跃)能逐帧精确跟随而非糊化。
评论区指出这可能是工作流「解绑」趋势的信号:把姿态检测、分割等重活外包给外部图像编辑器只处理单帧,模型因此可以做得很快——以 finetune 形式实现的工作流创新。

「多模态」频道最新