研究提出折叠冗余层：ViT推理提速不失准确率的新框架

burkov · x · 2026-09-24

Vision Transformer 已成计算机视觉主流架构，但其巨大参数量和计算需求造成部署瓶颈。已有研究发现 ViT 中存在层间深度冗余：相邻层执行几乎相同的内部变换。

本文提出一个统一的层冗余框架，评估能否把连续的冗余层折叠成一个标准可学习层，从而在不损失准确率的前提下削减参数量与推理计算。现有压缩方法要么无法加速推理，要么因剥离表达能力导致明显精度损失，该工作试图绕开这些缺陷。