CameraVLM:多数视觉模型分不清镜头左移还是右移

tencent · hf · 2026-10-16

港广科大、腾讯与 LIX/Ecole Polytechnique 的论文指出，现代 VLM 能解视觉谜题、看懂长视频，但问它镜头是左移还是右移，多数表现接近抛硬币。

作者主张相机运动理解需同时满足两个条件：表征要耦合「屏外的相机运动状态」与「屏内的光流动态」，且须由语言模型来解释而非独立训练成位姿/深度估计器。

CameraVLM 方案：

• motion tokens 捕捉屏外相机如何移动，flow tokens 捕捉屏内主体与背景如何移动
• 两阶段 state–language 对齐训练，让运动语义与语言共同学习
• 仅 9B 参数即在 3 个 benchmark、20 多个基线上超越所有开源与相机运动专用模型，并匹敌或超过 GPT-6 Astra 及 48 人人类对照实验

项目页：3dagentworld.github.io/CameraVLM

原文链接 →

「多模态」频道最新

• 「RiRi」AI 生成图爆火：钻石头饰与闪片长裙以假乱真 — egeberkina · 2026-10-16
• SeedAudio 1.5 将登陆 CapCut PC:一条提示生成对白、音效与配乐 — LearnWithBishal · 2026-10-16
• DLSS 5 实测画面逼真到反转：玩家称「比现实还真实」 — CSProfKGD · 2026-10-16
• 用 fal agent 一键换角:视频角色按 character sheet 重铸 — adamho · 2026-10-16
• 开发者开源 Krea 2 像素画 LoRA：16x16 游戏图标一键生成带透明背景 — Angaisb_ · 2026-10-16
• 用 Opus 5.5 驱动 Midjourney 创作：模型审美只需正确引导 — yuwen_lu_ · 2026-10-16

更多「多模态」频道 AI 资讯 →