康奈尔提出 Copy-Paste LM：轻量头提升复制能力与长上下文检索
lil-lab · hf · 2026-10-16
康奈尔大学 Nathan Godey 与 Yoav Artzi 的论文提出 Copy-Paste Language Models（CPLMs）：在常规 LM 头之外加一个轻量的 Copy-Paste 头，显式建模上下文内复制能力。
- 在 135M 到 1.7B 参数规模上预训练验证，所有规模和 backbone 均有提升，训练与推理开销可忽略
- 提升训练效率、下游性能，并在长上下文与检索场景提供新的工作点
- 机理上，CPLM 通过替代梯度路径部分缓解了 LM 头的梯度瓶颈
「研究」频道最新
- 清华 AI 学院助理教授陈永创 ApexIntelligence，天使轮融 5000 万美元 — DeryaTR_ · 2026-10-16
- Sandberg 解析流体计算误差预算：误差随时间二次收紧 — anderssandberg · 2026-10-16
- 流体如何算通用图灵机：力场驱动粒子落入 0/1 盒子 — anderssandberg · 2026-10-16
- FlashAttention 作者 Tri Dao 加入生物 AI 公司任科学顾问 — exnx · 2026-10-16
- SAIR 推出 Open Math OS:免费算力+100 工具,要让社区掌控数学 AI — Thom_Wolf · 2026-10-16
- Tenstorrent 芯片跑生物模型:JapanFold 称单机超 DGX B200 且价格不到三分之一 — DavidBennett__ · 2026-10-16