Stanford 教授 Surya Ganguli 长讲：从统计物理溯源 Scaling Laws

burny_tech · x · 2026-10-18

Stanford 教授 Surya Ganguli 的 1 小时讲座《The Origins of Scaling Laws》。他从自然语言的可测统计量出发，预测 LLM 的 scaling 指数，整体思路是用统计物理的框架来理解深度学习。讲座涉及：n-gram loss 的 scaling collapse、训练数据量 P 与回看 n 个词的关系 P(n)≈n^2β、词相关性的幂律衰减 C(n)≈n^-β，以及信噪比等于 1 时对数据量的含义——想回看更远的上下文就需要更多训练数据。适合想理解 scaling law 为何出现的读者。