多伦多大学 AReA：免训练注意力机制让 DiT 高分辨率生图更快更稳

uoft-cs · hf · 2026-10-14

扩散 Transformer（DiT）在超出训练分辨率生成时面临 token 二次增长、全注意力开销大、结构扭曲与细节退化问题。研究指出根源是均匀全注意力：每步 attend 所有 token 既带来二次成本，又让模型暴露在超出训练分布的 token 数量与相对距离上。作者观察到注意力的有效感受野在去噪过程中从早期成全局、后期收窄为局部。据此提出 AReA——免训练注意力机制：早期步骤对下采样 key/value 做跨尺度粗注意力捕获全局结构，后期在逐步收缩的窗口内做局部注意力。无需新增参数或训练，AReA 在多个目标分辨率和模型上一致超越最强免训练基线，且更快更省。