Zippering理论解释层间轴对齐
dyamins · x · 2026-07-13
这条在介绍论文中的两个核心理论： - **Weak-Strong Equivalence (WSE)**：对困难任务，若模型在“线性表示层面”已经对齐，那么数学上可推导出它也会对齐到某些特权轴。 - **Zippering Theorems (ZIP)**：解释了为什么端到端优化会把后层的收敛“拉链式”向前层传播，最终让早期或中间层也出现轴对齐。 作者把 ZIP 视为“收敛进化”现象的核心解释，并指出这套理论给出了一幅比 WSE 更完整的图景。