微软研究员提醒：BERT 在 2019 年就被称为 LLM
JFPuget · x · 2026-09-20
微软研究员 JFPuget 提醒人们，"LLM"并非新词——2019 年 BERT 等大规模预训练语言模型就已被称为 LLM。他引用了 Lilian Weng 2019 年 1 月的博客《Generalized Language Models》，该文系统梳理了 CoVe、ELMo、ULMFiT、GPT、BERT、GPT-2 及后续 T5、GPT-3、XLNet、BART、ELECTRA 等预训练语言模型的技术脉络与演进。
「研究」频道最新
- 回归诊断实操：VIF 超过 10 说明共线性已在膨胀你的标准误 — mdancho84 · 2026-09-20
- 回归诊断实操：Cook's distance 轮廓线外的点先查再信结果 — mdancho84 · 2026-09-20
- 数据科学家必做的 6 项回归诊断检查，别再盲信模型 — mdancho84 · 2026-09-20
- EMNLP 论文：LM 改写让 75% 输出失真，更倾向把「可能」写成「是」 — sameer_ · 2026-09-20
- Pachter 再列 Nucleus 广告硬伤：身高 R² 巧合到三位小数、队列错配 — lpachter · 2026-09-20
- 生物学家拆穿 Nucleus：胚胎筛查提升 IQ 10.8 分的前提站不住脚 — lpachter · 2026-09-20