ianand 梳理:ChatGPT、Claude、Gemini 皆源于 GPT-2 解码器路线
ianand · x · 2026-09-20
ianand 指出,当年 GPT-2 只取 Transformer 的 decoder 一半,证明了「真正需要的只是」:decoder 本身、单一模型处理多任务、用 prompting 替代任务微调(最大的解锁)、以及规模。这些突破催生了今天所有主流 LLM——ChatGPT、Claude、Gemini 等都是 GPT-2 这条 decoder 路线的后代。
所属事件:ianand 思想实验：假如 AI 走了 Encoder 路线(9 条相关)→
「研究」频道最新
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- AlphaGenome2 达 SOTA：从梯度预测中链接增强子与靶基因 — anshulkundaje · 2026-11-12
- AG2 消融实验：条件调制需进入编码器，eQTL 召回率近乎翻倍 — anshulkundaje · 2026-11-12
- 作者吐槽 CHI2027 评审:自认 ADR 论文优于所审稿件 — windx0303 · 2026-11-12
- 谷歌发布 AlphaGenome 2:预测 DNA 变异对特定细胞类型的影响 — sundarpichai · 2026-11-12
- 斯坦福 James Zou 上《经济学人》播客谈 agentic AI 如何变革科研 — anshulkundaje · 2026-11-12