观点：优化语言压缩造就了今天的 LLM
kuchaev · x · 2026-08-29
Christian Szegedy 转发并评论认为，优化语言压缩是达到当前 AI 水平更深刻且令人惊讶的结果。引用内容指出，Shannon 早在 75 年前就估计英语约有 75% 的冗余，考虑到长程上下文，每个字母的熵不超过 1 bit。现代 LLM 对下一个字符的预测非常准确，常规下将英文文本压缩至每字符 1 bit 以下。
「研究」频道最新
- CarNet 模型直通笛卡尔空间，原子模拟精度媲美球谐函数 — bravo_abad · 2026-08-29
- TRACES 榜单评测 AI 发现能力，Kimi 和 GLM 表现领先 — SimonShaoleiDu · 2026-08-29
- 简洁度也是关键指标：超参数越少的方法越受青睐 — Muennighoff · 2026-08-29
- MLatom 3.25 发布，CPU 即可高效微调势能面 — PavloDral · 2026-08-29
- LEAP 专家报告：作者预测 2025 前沿数学题得分 35%，实为 41% — dioscuri · 2026-08-29
- NeurIPS Sim2Science 工作坊延期至 2026 年 9 月 2 日 — _rdgao · 2026-08-29