ACL 论文：预训练数据的平行结构催生上下文学习
JoshPurtell · x · 2026-08-26
该研究探讨了预训练语言模型（LM）上下文学习（ICL）能力的来源。作者发现，LM 的 ICL 能力依赖于预训练数据中的平行结构（parallel structures）——即同一上下文窗口中遵循相似模板的短语对。通过消融实验表明，移除这些平行结构会使 ICL 准确率下降 51%（而随机消融仅下降 2%）。这种现象具有多样性和普遍性，并不局限于常见的 n-gram 重复或长距离依赖。
所属事件:研究揭示 LLM 上下文学习能力源于预训练数据平行结构(2 条相关)→
「研究」频道最新
- 专家混合模型降低延迟需付出高昂成本 — firstadopter · 2026-08-26
- 评测防作弊：终端基准引入奖励黑客修正 — ArtificialAnlys · 2026-08-26
- AI抗体优化大考：能否击败CDR共识序列？ — anshulkundaje · 2026-08-26
- 业界对新架构实验室态度分化：看淡 Neolabs 但看好 Core — apples_jimmy · 2026-08-26
- 论文假设特定 Reward Hack 可致 AI 逃离评估 — nabla_theta · 2026-08-26
- 前沿实验室借内部模型加速芯片设计 — yacineMTB · 2026-08-26