ALIVE 让视频插入物体「活起来」，交互指标超基线 43.9%
university-of-rochester · hf · 2026-10-07
罗切斯特大学发布 ALIVE，一个首帧引导的视频编辑框架，解决现有编辑器插入物体后无法参与「拿起、操作」等交互的问题。
方法
- 只需编辑首帧 + 一条仅命名新增物体的指令，即可让插入物体与原视频内容产生连贯交互
- 构建了 35,800 对编辑数据，混合 3D 渲染、模型生成与真实视频及 ROSE 通用编辑对，每对仅在目标物体上有差异、保留周围动作
- 训练一个 VLM 从相同输入预测交互引导，无需额外用户输入
- 提出 ALIVE-interaction 基准，用统一 VLM 协议评估交互保真度、源保留与视觉连贯性
结果：无 VLM 引导时，Overall 指标在两个基准上分别比最强基线高 43.9% 和 4.4%；VLM 引导再提升 ALIVE-interaction 分数 0.95 点。
「多模态」频道最新
- Dreamina Canvas 推出 Extract Motion：复刻镜头运动而非画面内容 — Div_pradeep · 2026-10-07
- Blender 城市生成器 2.0 发布，数秒生成完整 3D 都市 — Scobleizer · 2026-10-07
- Runway 推出 AI 伪纪录片《What We Forgot》，设定在 2030 年回望当下 — c_valenzuelab · 2026-10-07
- Diffusers 0.41 发布:支持 Qwen-Image 2.1,可原生输出透明图 — lmoroney · 2026-10-07
- AI 影视创企 Authors First 获超 1000 万美元种子轮助作家改编剧本 — DavidmComfort · 2026-10-07
- AI 生成的儿童节目《Bot Babies》亮相 Reddit — ScriptLurker · 2026-10-07