RecCAR 正则化弥合联合视频生成的跨模态注意力差距
barilan · hf · 2026-09-24
- 研究发现联合多模态扩散 Transformer 存在跨模态对应不对称:视频为中枢,伴生模态(3D 人体运动、音频)对视频形成强对应,但反向约束视频的对应显著更弱,作者称之为「互易对应差距」。
- 提出 RecCAR(Reciprocal Cross-modal Attention Regularization),用 KL 正则把较弱的模态到视频对应,对齐到稳定的视频到模态对应分布上。
- 在视频-运动和视频-音频联合生成上,人体解剖评分从 0.69 提升到 0.75,音视频不同步度从 0.804 降至 0.752,整体生成质量同步提升。
「多模态」频道最新
- UniPath 被 NeurIPS 2026 接收：单模型自适应协调理解与生成 — jindong_wang92 · 2026-11-11
- 用 Opus 5.5 做 RPG：扮演博士生对抗审稿人 — s_scardapane · 2026-11-11
- 开源 Node 把 ComfyUI 工作流变一键模型，内置 19 个工作流 — jefoce · 2026-11-11
- RTX 3050 6GB 本地跑 MiniMax H3，拼出 60 秒 AI 视频 — No_Cow26 · 2026-11-11
- 把两年前的噩梦做成 72 秒短片，100 秒视频只花 $3.8 — Alternative-Pay-447 · 2026-11-11
- 用 Claude Code 拆成多智能体，一天内做出卡通短片 — prasettiuul · 2026-11-11