RMSNorm 梯度爆炸疑虑获解释：高维输入天然远离零

前苹果/Meta 研究者 François Fleuret 提出技术疑问：RMSNorm 在输入接近 0 时理论上会导致梯度爆炸，为何实际中很少出问题？Carles Gelada 随后给出解释：高维随机向量在初始化时总是远离零点，因此输入趋零的情形在实践中极为罕见，这一讨论澄清了归一化层的常见疑虑。

2026-11-07 ~ 2026-11-07 · 2 条相关