专家争论 RMSNorm 是否能提升激活可解释性

围绕归一化能否增强模型激活可解释性的观点，社区展开争论。一方认为 RMSNorm 只是将网络复杂但可微的潜在空间投影到超球面上的纯数学操作；另一方反驳称，残差流中的激活本就难以解释，归一化后的激活解释难度类似，因此认为该思路无法解决可解释性难题，双方各有支持者。

2026-08-26 ~ 2026-08-26 · 2 条相关