CPLM 论文：加一个复制头可提升复制能力，开销不足 3%
yoavartzi · x · 2026-10-17
Cornell 的 Nathan Godey 与 Yoav Artzi 发布论文《Copy-Paste Language Models》(arXiv:2610.19247)，提出 CPLM：在常规语言建模头之外增加一个轻量的 Copy-Paste 头，显式改进 LLM 的上下文复制能力。
关键结果：
- 在 135M 到 1.7B 参数规模上预训练验证，所有规模与 backbone 均有提升，训练与推理开销可忽略（<3%）
- 提升下游准确率、CoT、长上下文表现，以及 RAG 场景的内存效率
- 支持 KV sliding window 而无性能损失（作者 Yoav Artzi 特别强调这点）
- 机制解释：CPLM 提供替代梯度路径，部分缓解了 LM head 的梯度瓶颈（softmax 学习瓶颈）问题
作者评价这是简单、轻量但影响显著的工作。
所属事件:康奈尔 CPLM:轻量复制头提升模型复制能力(3 条相关)→
「研究」频道最新
- Mercor 用 APEX 基准定向数据后训练 Nemotron,法律/工程/会计全面提升 — NVIDIAAI · 2026-10-17
- Era 后训练 Nemotron：609 美元追平前沿模型，单次正确成本降 27 倍 — NVIDIAAI · 2026-10-17
- 学者提出异步 LLM Agent 版学术索引，性能随 Agent 数量扩展 — shangbinfeng · 2026-10-17
- 新论文提出振荡器语言模型:用 Kuramoto 相位动力学做语言建模 — burny_tech · 2026-10-17
- Vals AI 科学指数：OpenAI 三款新模型分榜领跑，无一全科称王 — BenBlaiszik · 2026-10-17
- NeurIPS 2026 论文：把 AI 文本检测当作持续学习问题求解 — lucy3_li · 2026-10-17