研究揭示 LLM 上下文学习能力源于预训练数据平行结构

一篇 ACL 论文探讨了大语言模型上下文学习（ICL）能力的来源，发现该能力依赖于网络预训练数据中的特定数据类型，即平行结构。消融实验显示，若从预训练数据中去除这类数据，模型便会失去 ICL 能力，暗示 ICL 并非模型的内在涌现属性，而是由特定预训练数据催生的。

2026-08-26 ~ 2026-08-26 · 2 条相关

• 研究称 LLM 上下文学习能力源自预训练特定数据 — JoshPurtell · 2026-08-26
• ACL 论文：预训练数据的平行结构催生上下文学习 — JoshPurtell · 2026-08-26