1913年马尔可夫手动统计2万字母,算是最早的语言模型

jxmnop · x · 2026-09-13

一条AI史趣帖:博主称第一个「LLM」其实是 Andrey Markov 在 1913 年造的——他从一部名著中统计了 2 万个字母，手动计算出元音/辅音的四种条件概率 p(vowel|vowel) 等，等于手工「训练」了一个 bigram 模型。引用推文补充脉络：Jeff Dean 2007 年就在整个互联网上训过 n-gram 模型，Jelinek 在 70 年代创造了「language model」一词，而 Claude 的命名正是致敬 Claude Shannon 1951 年对英语熵率的估计。