网友发现香农通信论已蕴含类LLM预测

JensHonack · x · 2026-07-07

一位开发者在阅读香农1948年《通信的数学理论》时发现,香农通过蒸馏受试者的预测频率,实际上构建了一个"英文LLM代理"(见论文第7页),令其惊叹现代LLM的预测思想早已在信息论中奠基。