Git Re-Basin 揭示模型合并为何被置换对称性卡住

CatAstro_Piyush · x · 2026-07-22

这条转发在讨论模型合并时的一个核心研究问题：为什么直接平均两个独立训练模型的权重，经常会变成噪声。

帖子引用了 Git Re-Basin 和 model soups 的工作，强调真正的障碍是“置换对称性”。比如一个 ResNet-50 仅通过神经元重命名，就可能有天文数字级别的等价表示；因此两个模型即使功能几乎相同，也可能因为训练过程中落在了不同的权重排列上，而在参数空间里相距很远。Git Re-Basin 的关键发现是：先把这些任意排列对齐，再去看权重，很多原本看似不可合并的模型其实能落入同一个 basin，从而更容易合并。