arXiv 论文揭秘：RoPE 空间偏置导致视频扩散模型违反物理规律
udmrzn · x · 2026-09-24
一篇新 arXiv 论文首次对文生视频扩散模型的「运动规划」过程做可解释性研究，解释为什么 SOTA 视频模型常生成违反物理的内容。
核心发现：
- 运动「先定形状、后补细节」：运动轨迹在去噪早期阶段就基本确定。
- 少数特定注意力头（cross-attention 轨迹模式 + 因果头贡献分析定位）负责规划运动。
- 自注意力分析显示 RoPE 引入过强的空间注意力衰减，使早期候选区域过早锁死在物理上不合理的位置，压制相邻帧的合理轨迹，触发翻车模式。
解法：提出一种轻量架构修改——在不同去噪步缩放 RoPE 频率，缓解过度注意力衰减。免训练与带训练实验均验证可提升物理一致性，无需外部先验或专门数据。
所属事件:研究揭示视频扩散模型违反物理的根源(2 条相关)→
「多模态」频道最新
- 用 Fable 5.2 + Tripo 在 three.js 里做出像素巨龙巢穴场景 — Flomerboy · 2026-11-11
- Adobe MAX 现场演示：手机拍像素素材 + Firefly 生成改装车库大片 — shashib · 2026-11-11
- 不用视频模型:Blender+Claude Code 打造月光图书馆电影感短片 — dotey · 2026-11-11
- AI 生成 MV「官僚修女」:雨夜哥特教堂场景电影感惊人 — rilex037 · 2026-11-11
- 「埃及法王」AI 人像刷屏：光影与法老剪影的氛围感创作 — egeberkina · 2026-11-11
- MiniMax H3-Image 支持单次生成融合 16 张参考图 — MiniMax_AI · 2026-11-11