从Transformer到ChatGPT的演进
stanfordnlp · x · 2026-07-20
这条转推回顾了大语言模型路线的演进： - 2017 年 Transformer 出现，明显优于 RNN/LSTM。 - 2018 年 BERT 走红，Google 带动全行业训练、蒸馏和改造 BERT；同时 OpenAI 在坚持 decoder-only 的 GPT 路线。 - 2019 年 BERT 深刻影响搜索，Google 又发布 T5；2020 年 GPT-3 引爆社区，GitHub trending、公开视频 demo 和 SQuAD 表现都引发轰动。 - 2021 年 Stanford 提出 foundation model 概念，试图统摄此前的 Transformer/BERT/GPT 叙事。 - 2022 年 ChatGPT 被描述为把 GPT-3.5 Turbo 配上前端和基础设施后的产品化结果。 核心观点是：外界常把 ChatGPT 看作突发事件，但从研究和产品路线看，它其实是多年模型演进的集中爆发。
「模型」频道最新
- 前沿模型已超越人类数学能力 — littmath · 2026-07-20
- 中国模型在 OpenRouter 上领先 — JOBhakdi · 2026-07-20
- AI解RH会被区别对待的段子 — tak3sh8 · 2026-07-20
- 泄露称 GLM-5.5 可能8月发布 — teortaxesTex · 2026-07-20
- Gemini 出现奇怪崩坏 — windowssandbox · 2026-07-20
- Hermes 发布桌面与路由大更新 — Teknium · 2026-07-20