腾讯混元发布 OmniCam:从全景图与文本生成相机运动轨迹
Zhenyang Liu · hf · 2026-10-21
OmniCam(复旦大学、上海创新研究院、腾讯混元、浙江大学)是一个自回归模型,可从全景图和文本指令生成相机位姿序列。
要点:
- 通过几何锚定(geometry-grounded)的位姿 token 学习,以及目标感知条件控制,提升轨迹精度并减少碰撞
- 配套发布 OmniCaT 数据集,含 26.77 万条轨迹,覆盖目标环绕、重建、漫游等任务类型
- 下游应用:相机可控视频生成、相机控制 3D 重建、机器人中的相机引导主动感知
「多模态」频道最新
- 同种子实测最新图像编辑模型:Flux 3 Klein 唯一看懂姿态与夹克侧向 — Dunc4n1d4h0 · 2026-10-21
- 全 AI 短片《The Life of the Gorgon》:Grok 编导+Kling 4.0 动画 — nima_owji · 2026-10-21
- 老用户吐槽 Suno 人声 shimmer 伪影:听听就想吐 — lfschiavo · 2026-10-21
- 网友用 AI 制作《死亡笔记》短片,Loophole 项目新作 — neptune765 · 2026-10-21
- 本地实测 Fibo 2.0 图像编辑:360 度转身保真,物体遮挡理解仍翻车 — Big_Parsnip_9053 · 2026-10-21
- Minimax H3 角色替换实测:Ref2va 8 步 LoRA 迁移面部表情演技 — mexxmillion · 2026-10-21