CPLM：256 窗口滑窗 Transformer 追平全注意力，KV 缓存省 12 倍

burny_tech · x · 2026-10-21

康奈尔 Nathan Godey 与 Yoav Artzi 的预印本提出 Copy-Paste Language Models（CPLM）：在常规 LM head 上加一个轻量 Copy-Paste head，显式建模上下文复制能力。关键结果：

• 256-token 滑窗的 CPLM 在 FinePDF 困惑度上追平全注意力模型，KV 缓存内存少 12 倍；
• 64k needle 检索从 14.3% 跃升至 99.4%；
• 从 135M 到 1.7B 参数、重训与微调均验证有效，训练与推理开销几乎可忽略。

机理解释：约 60% 的预训练 token 在 4k 窗口内重复出现，复制本是 LLM 核心操作，但低秩 LM head 使复制学习异常困难、构成隐藏的梯度瓶颈；CP 头通过特殊 <copy> token 与回退机制为复制提供替代梯度路径，部分绕开了这一瓶颈。

原文链接 →

「研究」频道最新

• 因签证无法线下参会,作者担心 EMNLP 论文被撤稿 — OtherwiseFig4505 · 2026-10-21
• NeurIPS 2026 主会报名不含工作坊，教授提醒需单独加购 — CSProfKGD · 2026-10-21
• GovAI 分析：开源与闭源模型生物能力差距仅约 7 个月 — Manderljung · 2026-10-21
• 可实证性越强的学科引用越平等？经济学家补充一个反例 — soumitrashukla9 · 2026-10-21
• 深度学习可解释性入门:ISM、DeepLIFT、DeepSHAP 等方法图解 — anshulkundaje · 2026-10-21
• TerminalBench 作者回应评测争议：建数据难，欢迎加入社区共建 — ajratner · 2026-10-21

更多「研究」频道 AI 资讯 →