MeRoPE:度量旋转位置编码让相机可控视频生成不受平移尺度影响
zhenjun_zhao · x · 2026-09-05
arXiv 论文,针对相机可控视频生成中的几何感知位置编码。现有方案在真实公制相机轨迹上存在依赖尺度的失败模式:齐次投影编码使注意力 logits 与特征范数随物理平移基线无界增长。
- MeRoPE 是保范数的相对相机编码:用正交旋转块编码标定视线间的相对朝向,把原始公制位移映射到多频旋转相位,并沿对极弧加入视差锚定的对应先验。
- 严格保持特征范数、无论平移尺度多大都约束 pre-softmax 注意力 logits,并对全局刚体坐标变化保持精确不变性。
- 在覆盖大基线轨迹与多样相机光学的 nuScenes 与 PanShot 上,相机控制能力强于既有编码,生成运动与条件位姿的旋转/平移一致性最佳,代码将开源。
「研究」频道最新
- LLM 钻 Lean 编译器漏洞?作者称只是短期问题 — avt_im · 2026-09-05
- FinFIRST 金融 Agent 基准:考核检索、证据选择与计算全流程 — alifcoder · 2026-09-05
- Valeo.ai 携 5 篇论文亮相 ECCV 2026,聚焦驾驶视频预测与 LVLM 安全 — abursuc · 2026-09-05
- Sakana AI 发布 Percept-Lens:冻结视觉特征即可检出 AI 生成图 — SakanaAILabs · 2026-09-05
- VI3 用 IMU 惯性数据给 3D 基础模型补上真实尺度 — zhenjun_zhao · 2026-09-05
- ZipMVS 压缩代价体,大幅降低多视图立体重建的显存开销 — zhenjun_zhao · 2026-09-05