香农 1950 年手算英语熵：百字母上下文预测命中率达 80%
alexbilz · x · 2026-08-06
回顾了信息论创始人香农在 1950 年进行的一项经典实验：他让妻子作为实验对象，通过逐字猜测杰斐逊传记文本来测量英语的熵。实验中，在有 100 个字母上下文的情况下，实验对象的首次猜测命中率高达 80%。基于此数据，香农计算出英语的熵大约在 0.6 到 1.3 比特/字母之间，并得出英语约有 75% 是冗余的结论。
「研究」频道最新
- Cursor 开源 MoK 内核，MoE 训练吞吐量提升 41% — rohanpaul_ai · 2026-08-06
- 从零解析大模型：The Next Token 深度教程 — coder543 · 2026-08-06
- 研究发现：长文本上下文可致大模型绕过 RLHF 安全限制 — Historical-Cod-2537 · 2026-08-06
- MIT与斯坦福研究：遵循LLM理财建议多数人财务状况更佳 — emollick · 2026-08-06
- Miles Brundage 发文：用 AI 修复开源漏洞，实现网络安全防御压制 — Miles_Brundage · 2026-08-06
- 小米开源机器人基础模型，预训练数据超 10 万小时 — burny_tech · 2026-08-06