局部视觉有助于泛化

qualcomm · hf · 2026-07-18

这篇工作讨论视觉模型里的局部性与长度泛化问题：人类视觉依赖一系列局部、带有中心凹特征的观察，而多数计算机视觉模型更像是一次性全局输入。作者想回答的是：这种“逐步局部感知”的视觉模型，除了更符合生物视觉之外，是否还会带来真正的计算优势。

他们在需要跨图像聚合局部信息的简单视觉任务上做实验，发现很多视觉模型和语言模型类似，都会学到“全局捷径”，因此一旦任务长度或复杂度增加就泛化失败。进一步地，严格局部感知的递归视觉策略可以缓解这种问题，使模型在这些任务上更稳健地泛化。作者据此认为，局部注意力可能是鲁棒组合泛化中一个被忽视的关键要素。