3Blue1Brown 新作:用算术编码把文本压到每字符 1 比特
3Blue1Brown · youtube · 2026-11-18
3Blue1Brown 发布「Compression is Intelligence」系列第三集,讲解算术编码(arithmetic codes)如何把文本压缩到接近每字符 1 比特,并借此阐释「压缩即智能」这一命题。
核心内容(按时间线):
- Shannon 估计的荒谬之处:英文文本信息熵下限为何接近 1 bit/字符
- 从离散文本到实数的转换,以及这是否已是 Shannon 极限
- 用「prequential coding」视角重新审视预训练:压缩与预测、泛化的等价性
- 引用 Ilya Sutskever 的《An Observation on Generalization》,以及涉及 ANS(非对称数制系统)、Hutter 奖、DeepMind 相关论文等多份延伸材料
视频延续其 manim 动画风格,是理解「预训练 = 压缩」这一现代 LLM 核心直觉的最佳可视化材料之一。
「模型」频道最新
- 研究者警告:Gemini 声称证明的数学结论先过 Astra 验证再兴奋 — jasondeanlee · 2026-11-18
- Gemini 新设置:退出 AI 训练不再需要牺牲聊天历史 — Ars Technica AI · 2026-11-18
- 「基准黑客」疑云:实验室自报 SWE-bench 分数平均高于独立复现 4-5 分 — RexDouglass · 2026-11-18
- 用户吐槽:为 9.8 亿免费用户降本,付费者却在「吃剩菜」 — Yamapama · 2026-11-18
- 用户吐槽 GPT 语音模式:随机插话、口音乱跳还改不回来 — Yamapama · 2026-11-18
- Oru'el 称 Kanook 登顶 RoboRewardBench,比 NVIDIA Flora 误差低 30% — AashaySachdeva · 2026-11-18