ICLR 论文：用物理学定理揭示 AI 模型表征学习机制

burny_tech · x · 2026-08-08

学者 Liu Ziyin 分享了其发表于 ICLR 2024 的研究。该工作从理论物理学的角度切入，探讨了 AI 模型的训练动态。

研究表明，模型在学习表征时，梯度噪声起到了决定性作用。基于物理学中的涨落耗散定理（fluctuation-dissipation theorems），研究发现在训练过程中，模型的梯度噪声、表征和权重三者之间会达成相互对齐的状态。这提供了一个利用物理学预测 AI 模型现象的绝佳案例。