Cross-Entropy 与LLM训练
3Blue1Brown · youtube · 2026-07-16
这期视频用信息论和压缩的视角解释 **cross-entropy** 为什么会成为训练语言模型的损失函数。视频先回顾最优编码与语言树的直觉，再把 cross-entropy 定义出来，说明它如何衡量“用一个分布去描述另一个分布”时的代价。 后半部分把概念落到 LLM 预训练上，解释为什么最小化 cross-entropy 等价于让模型更擅长预测下一个词，并讨论为什么这是一个“最好”的损失选择。视频最后还顺带讲到 **distillation** 和 **KL divergence**，把这些概念串成一条完整链路。