香农熵定义信息量，Cross-entropy 训练所有 LLM
techNmak · x · 2026-08-21
回顾克劳德·香农对现代数字与 AI 时代的奠基性贡献：
- 布尔代数与电路：其硕士论文证明布尔代数与电子电路等价，确立了数字计算机的逻辑基础。
- 完美加密：证明一次一密提供完美保密，奠定了现代密码学基础。
- 信息论：1948 年论文提出香农熵公式 $H = -\Sigma p(x) \log p(x)$，定义了“比特”和信道容量。
在 AI 中的应用：香农熵直接衍生出 Cross-entropy loss（所有分类器和 LLM 的训练函数）、决策树的信息增益以及 LLM 的评估指标 Perplexity。每一次神经网络训练，本质上都在运行香农的公式。
所属事件:香农奠基数字与AI时代：信息论百年回望(2 条相关)→
「研究」频道最新
- 观点：预训练远未饱和，模型规模非智能巅峰必要条件 — kalomaze · 2026-08-21
- MIT 实验室招聘博士后，专注 Agentic AI 与多智能体系统 — GioeleZardini · 2026-08-21
- 实验性奖励模型筛选出 Gemma SFT 输出中的糟糕样本 — kalomaze · 2026-08-21
- 布朗大学 Serena Booth 讲座：征询与解读人类偏好 — danielequercia · 2026-08-21
- NAPE：音频预测的新自监督学习方法 — ImperialCollegeLondon · 2026-08-21
- NARU：日语超长视频叙事演化基准 — utokyo-ai · 2026-08-21