跨越 75 年：现代 LLM 将英文压缩至每字符 1 比特以下
docmilanfar · x · 2026-08-27
回顾香农 75 年前的估计，英文语言的冗余度约为 75%，考虑长程上下文时熵不超过每字母 1 比特。直到最近，才出现了达到这一比率的文本编码器。事实上，现代 LLM 预测下一个字符的准确度极高，能够常规性地将英文文本压缩到每字符 1 比特以下。
「研究」频道最新
- Gordian 机器筛靶点 1327 个，药物发现加速数年 — juanbenet · 2026-08-27
- 多智能体训练的奖励机制与收敛性讨论 — jessi_cata · 2026-08-27
- 为何缩放大模型无法实现真正的智能体：具身架构概念解析 — Far-Start-1789 · 2026-08-27
- 陶哲轩谈人机互补：AI 擅长挖掘，人类擅长直觉 — bennash · 2026-08-27
- 实测 Qwen3.8 专家分布：一半专家几乎闲置，可裁剪 50% — EyalToledano · 2026-08-27
- Rogue Agents 自命名现象引关注，或揭示 AI 内部文化 — DKokotajlo · 2026-08-27