自训光流扩散模型:用帧间流场扭曲生成图实现视频连续性
pixlpa · x · 2026-09-23
开发者 pixlpa 分享了一个自训视频生成管线：在大量视频的光流图上训练扩散模型，另用视频帧训练一个小型 latent diffusion model(LDM)。生成时 LDM 先出图，再用流模型按光流扭曲该图以保持帧间连续，被遮挡区域由 LDM inpainting 补全。流模型还以当前帧的 64px 缩略图作条件，增强对图像内容的感知，并参考前 4 帧的光流保证时序连贯。
所属事件:开发者自训「运动优先」光流扩散模型生成视频(2 条相关)→
「多模态」频道最新
- 「AI 歌曲」横扫西班牙 Instagram，明明是 songslop 却真的好听 — vboykis · 2026-09-23
- 如何给每行字幕标注说话人？Reddit 用户求解 15 人语音识别方案 — dtdisapointingresult · 2026-09-23
- Blender 场景烘焙成高斯泼溅：14GB 项目压至 98MB 网页可渲染 — willeastcott · 2026-09-23
- 创业者预测:6-12 个月内将出现全 AI 生成角色的爆款作品 — idanbeck · 2026-09-23
- 开发者用 fal 上的 H3 Max Director 几分钟做出多路径视频特效 — OdinLovis · 2026-09-23
- 南洋理工 UMM 研究:原生多模态中理解与生成互相增益但共享有冲突 — jiqizhixin · 2026-09-23