北邮研究揭示视频扩散模型违反物理的根源：RoPE 注意力衰减锁死轨迹
BUPT-CIST · hf · 2026-09-22
北邮团队发布首个针对文生视频扩散模型「运动规划」过程的可解释性研究，从内部机制找出物理违规的根因：- 发现早期去噪阶段即形成运动轨迹（「先形状后细节」），结合 cross-attention 轨迹模式与因果头贡献，定位驱动运动规划的特定注意力头子集
- 自注意力分析显示 RoPE 引发过度的空间注意力衰减，使早期候选区域过早锁定在物理不合理位置，抑制相邻帧的合理轨迹，触发生成失败
- 提出轻量架构修改：按去噪步骤缩放 RoPE 频率，缓解注意力衰减，让模型探索更好的候选区域以建立连贯物理运动
- 无训练与有训练实验均验证可提升生成视频的物理常识
所属事件:研究揭示视频扩散模型违反物理的根源(2 条相关)→
「多模态」频道最新
- Recraft 更新矢量生成：曲线更顺滑直线更直，Vectorizer Pro 全员可用 — aziz4ai · 2026-11-12
- Fable 5.2 实测生成细菌鞭毛马达视频,输出质量惊人 — Dr_Singularity · 2026-11-12
- MiniMax H3 Image 对比 MOSS Image：6 步出 16MP 对阵 50 步 2MP — zmarcoz2 · 2026-11-12
- 把 AI 生图当片场用：Intangible Canvas 场景编辑实测 — umesh_ai · 2026-11-12
- 先在 3D 里定机位再生成视频:Mars 场景工作流实操分享 — umesh_ai · 2026-11-12
- 生成前先定机位:Intangible AI Canvas 用 3D 场景预演 AI 视频 — umesh_ai · 2026-11-12