Geometry as Address: Routing Attention to Visual Memory for Long-Horizon Camera-Controlled Video Generation
Zesong Yang, Weikai Chen, Liyuan Cui, Lutao Jiang, Runze Zhang, Yingda Yin, Xiaoyang Huang, Kai Yan, Keyang Luo, Wangguandong Zheng, Xin Wang, Hujun Bao, Zhaopeng Cui
cs.CV
2026-09-28
GEAR用每帧几何给视觉记忆做token级寻址,历史保持为帧latent。DL3DV上ATE为0.0436,较最强基线低80.3%,可生成分钟级相机可控视频。
相机可控视频要拉长到分钟级漫游,难的是记忆访问。镜头离开一块地方再转回来,模型必须从不断变长的历史里把当初看见的内容捞回来,不能靠当前几帧瞎补。
两条常见路都有硬伤。隐式记忆把历史帧全部堆进 attention,外观信息还在,但相关 patch 只占一小撮,其余 token 会把检索冲淡,算力也随历史线性涨。显式 3D 记忆把观测融进全局 mesh、点云或 voxel,再投影到新视角,空间寻址清楚,可局部几何误差一经写入全局融合就变成持久伪影,下一轮生成吃的是带噪投影,错误会沿轨迹滚下去。Lyra 2.0 把源坐标和深度 warp 进目标视角再注入 DiT token,UCM 则 warp 位置编码。几何仍在选条件、做对齐,视觉特征还是间接摸到的。
GEAR 把寻址和读内容拆开。几何只回答该去历史的哪一格读,读到什么交给 visual attention。
系统叫 GEAR(Geometry-Enabled Attention Routing),浙大 CAD&CG、港科广与 LIGHTSPEED 合作。backbone 冻结 Wan2.1-I2V-14B,加 rank-32 LoRA,并在偶数号 DiT block 插入 Geometric Correspondence Attention(GCA,几何对应注意力)。GCA 有 262M 参数,约占 backbone 的 1.9%。
可以按四步复述:
训练从第 8K iteration 起,对 history-to-video 样本以 40% 概率做 degraded-history:给历史 latent 加 τ 不超过 0.3 的噪声,再走一步 reverse-flow,让模型见到自回归时已经变脏的记忆。image-to-video 与 history-to-video 抽样比是 30% 和 70%。推理按几何覆盖贪心抽 keyframe,固定保留首帧和最近一帧;每生成一个 chunk,用冻结的 Depth Anything 3 估深度和位姿,更新 octree。
训练数据是 DL3DV-10K,分辨率 480×832,clip 长 55 帧,32 卡 AdamW,学习率 1e-4,共 10K iteration。主表在 DL3DV-Evaluation 上沿 GT 轨迹自回归生成。WorldScore-Static 另抽 50 个场景做闭环轨迹,专门量 revisit。相机误差用 ViPE 从生成视频反推位姿,再经 Umeyama 对齐到 GT。
| 方法 | SSIM↑ | LPIPS↓ | FVD↓ | ATE↓ | Revisit SSIM↑ |
| Lyra2 | 0.3359 | 0.5097 | 975.89 | 0.2514 | 0.3941 |
| WorldStereo | 0.3061 | 0.5502 | 846.46 | 0.2212 | 0.6253 |
| UCM | 0.3412 | 0.6007 | 1431.67 | 0.6410 | 0.3412 |
| HY-WorldPlay | 0.2452 | 0.6213 | 1385.23 | 0.9634 | 0.2433 |
| GEAR | 0.3645 | 0.4459 | 837.59 | 0.0436 | 0.6489 |
ATE 相对最强基线 WorldStereo 的 0.2212 降了 80.3%。TransErr 0.0116,低于 Lyra2 的 0.0157;RotErr 0.1228,低于 WorldStereo 的 0.1717。WorldScore 上 Content Alignment 0.7423,次高是 WorldStereo 的 0.7003;Revisit LPIPS 0.2019,次低是 WorldStereo 的 0.2193。FVD 837.59 对 WorldStereo 的 846.46,这一项几乎打平。
消融把功劳钉在稀疏寻址上。去掉 GCA,SSIM 掉到 0.1324,ATE 升到 0.3471。同样参数量改成对全部检索历史做 dense attention,ATE 仍是 0.2924。去掉 Invisible Octree,ATE 从 0.0436 升到 0.0729。把 9 路对应只留 2 到 3 路有效、其余平移 64 到 128 像素,ATE 还有 0.0464,GCA 能压掉外观对不上的干扰项。
稀疏几何寻址在这张表上比加容量更值钱。
对做相机可控 world model 的人,这是一条可落地的分家:几何当指针,外观当内容。已经在付全局融合误差账的系统,可以先试每帧局部网格加稀疏对应 attention,不必等场景建成干净 mesh。适配成本相对低,14B 冻住,只训 LoRA 和约 2% 的 GCA。
前提仍是单帧深度和相机够用。论文展示的是单图加文本、用户指定轨迹、分钟级漫游。它改进的是记忆访问,不是视频先验本身。
作者写明:深度依赖外部 3D 模型,有额外算力开销,后续想把几何和寻址一起学进生成模型。
评测相机来自 ViPE 反推,ATE 好看可能混进「生成内容更好估姿态」,不完全等于轨迹跟得更紧。WorldScore 的 Subjective Quality 几乎所有方法都在 0.50 附近,GEAR 与 HY-WorldPlay 同为 0.5018,这项没有区分度。训练和主表都在 DL3DV,分钟级域外对比主要靠定性图。Invisible Octree 保守更新、不覆盖已有证据,错误可见性会不会锁死没有定量。动态物体和非刚性场景也没有作为设定来测。