All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
Ohad Rahamim, Dvir Samuel, Idan Schwartz, Gal Chechik
cs.CV
2026-09-23
联合视频生成里视频到伴随模态的注意力强、反向弱。RecCAR用KL把弱方向对齐到强方向，解剖分0.69升到0.75，音画错位0.804降到0.752。
现在不少模型同时生成视频和伴随模态，比如 3D 人体运动或音频。两条流在同一个去噪过程里走，靠双向交叉注意力互相看。结构图画着两条通路都接上了，生成目标却不要求两边信息量对等。结果很常见：视频到伴随模态的对应学得扎实，伴随模态回头约束视频的那条路几乎闲着。
这会把联合生成的卖点吃掉。运动或音频里明明有能纠正视频的信息，手脚该在哪、马蹄落地该对上蹄声，视频侧接不住。论文把这种不对称叫做 reciprocal correspondence gap，并把两边都写成「某个伴随 token 对应哪些视频 token」的分布，才能直接比。
RecCAR 全称 Reciprocal Cross-modal Attention Regularization。它不改结构，只在已有交叉注意力上加一项 KL。
关键一步是把两个方向放到同一坐标系。视频→模态这条路，模态 token 查询视频 token，softmax 本来就落在视频上。反向的模态→视频，视频 token 查询模态，softmax 落在模态上，没法直接比。论文把同一组 logits 改在视频维上做 softmax，两边都回答同一个问题：这个运动或音频 token 对应画面的哪一块。
预训练模型里，视频→模态通常已经对得上，头的运动 token 能指到头。反向常常漂到上半身。RecCAR 对强方向做 stop-gradient，当固定老师，让弱方向去贴它。总损失是原来的生成损失加上 λ=0.01 的这项。骨干冻住，只训注意力投影上的 LoRA，rank 128。推理不加模块。
同一套公式用在视频-运动和视频-音频上。视频被当成更丰富的参考模态，这个假设贯穿全程。
视频-运动接在 EchoMotion 上。训练数据是自己生成再筛：约 1.8 万对候选里，MPJPE 和 NMPJPE 都低于 0.15 的留下，3D 姿态用 CameraHMR 从视频重估，最后 4292 对。4 张 H100 大约 48 GPU 小时。测试是 VidProM 上 1000 条未重叠 prompt。
| 方法 | Human Anatomy | Dynamic Degree | Aesthetic |
| CoMoVi | 0.67 | 0.43 | 0.46 |
| FlowMo | 0.65 | 0.62 | 0.52 |
| EchoMotion | 0.69 | 0.83 | 0.56 |
| RecCAR | 0.75 | 0.83 | 0.57 |
动态程度没掉，解剖分上去了，增益不是靠把动作变慢换来的。50 条 prompt 的消融更硬：同样数据做普通微调，解剖分从 0.70 掉到 0.66，N-MPJPE 从 0.197 升到 0.208；加上 RecCAR 才到 0.78 和 0.148。附录里，运动→视频的注意力质量从 0.0113 升到 0.0354，相对加了 213%。
视频-音频接 LTX-2 和 JavisDiT++，大约 4300 条 VGGSound 片段。T2AV-Compass 500 条 prompt 上，LTX-2 的绝对音画错位从 0.804 降到 0.752，压过专门做同步的 ITS。AVGen-Bench 上 LTX-2 从 0.424 到 0.406，JavisDiT++ 从 0.518 到 0.438。音频质量、视频质量和语义对齐基本持平或略升。普通微调几乎不动 DeSync。
联合生成现在卷结构双向，很少有人查两条注意力是不是都在干活。RecCAR 给出一个便宜的补丁：老师就在模型自己的另一条路上，不用外标、不加推理开销。做音画同步或人体视频的人，如果已经在用 LTX-2 或 EchoMotion 这类双流 DiT，可以当 LoRA 微调目标试。它是渐进改进，不是新的生成范式。
论文没有单独写局限。几个点站不太稳。
它默认视频→模态永远是好老师。如果这条路本身指错地方，KL 会把错误复印到反向。没有测反过来教，也没有测深度或光流这类伴随模态。
视频-运动的训练数据是模型自己生成，再用 25 条视频上的 MPJPE 阈值和 Gemini 解剖分校准过滤器，有循环风险。主表解剖分 0.75 来自 1000 条，消融 0.78 来自 50 条，两套数不要混着引用。
JavisDiT++ 在 T2AV-Compass 上绝对错位只从 1.078 到 1.046，ITS 是 1.040，RecCAR 不是所有骨干上的第一名。注意力对齐也不等于语义对齐，只是两张对应图更像。