一场重构LLM理解的cross-entropy课
anselm · x · 2026-07-20
一位 Stanford 数学背景的讲者做了一个 **33 分钟的 cross-entropy 公开课**，被转发者评价为“接近可公开观看的 ML 博士资格考试”。 帖子的核心观点是：很多人把语言模型理解成“预测下一个词”，但从数学上看，它更像是在**压缩语言**。转发者认为，一旦看懂这套数学直觉，就很难再回到原来的理解方式，适合今天就收藏来看。
「漫话AGI」频道最新
- Gary Marcus 支持的“AI 版 CERN”主张建立国际前沿模型监督机构 — GaryMarcus · 2026-07-21
- Gyges 定律式判断：AI 争论的关键可能是人们信不信结果 — mimi10v3 · 2026-07-21
- 作者认为，AI 时代将由个体小生意放大影响力 — tobowers · 2026-07-21
- 一位 AI 怀疑论者称技术有用，但过度依赖与版权滥用都是真风险 — ZeroStateReflex · 2026-07-21
- Tyler Cowen：未来将由青少年 AI 狂热者推动 — Polymarket · 2026-07-21
- 这条 AI 愿景认为，每次对话都在连接 80 亿颗人类大脑 — Brian821 · 2026-07-21