JHU 开源 GenCine:单图生成视频,3D 控制相机与物体运动
anand_bhattad · x · 2026-10-03
Johns Hopkins 团队(Jiahan Zhang 一作,Alan Yuille、Anand Bhattad 参与)发布 Generative Cinematographer(GenCine),论文 arXiv:2610.02180。
- 问题:现有可控视频生成多用 2D 轨迹或拖拽信号,当相机与物体同时运动时,同一 2D 轨迹对应多种 3D 运动,控制存在歧义。
- 方法:将单张图像提升为可编辑的 3D 场景(点云),创作者在 Blender 等工具中同时编排相机路径与前景物体运动(局部 3D 运动手柄,多刚体区域独立移动来近似非刚体运动,无需物理模拟器);再把控制投影为对应图(XYZ 世界坐标 + 身份图),经冻结的 Wan VAE 编码,通过侧分支与 LoRA 适配器注入预训练视频扩散模型,仅训练轻量分支。
- 意义:「3D Vision is dead, long live 3D Vision!」——作者认为这类 3D 合成控制不止用于电影摄影,还可生成机器人训练数据、探索物体运动与相机视角。
所属事件:JHU 开源 GenCine:单图生成视频并 3D 控制运动(3 条相关)→
「多模态」频道最新
- 一张图塞 5 个 LoRA 角色:四方案实测,最好也只有 3/5 正确 — PoleRacers · 2026-11-19
- AI 生成「机器人神父」低垂双手祈祷,教堂场景以假乱真 — MrWoohoo · 2026-11-19
- AI 复刻 80 年代手绘动画风格短片《守门人》第一集 — oultimobuilder · 2026-11-19
- AI 生成 ARC'TERYX 户外广告片,运镜配乐调色被赞近完美 — gen_ericai · 2026-11-19
- AI 动画短片《Solar Ascendant》:超级英雄猴飞越末日都市 — Solaris-Frame · 2026-11-19
- AI 视频让蒙娜丽莎、梵高、达利跨世纪同框,网友直呼离谱 — sebpaquet · 2026-11-19