STAPLE：稀疏记忆升级预训练模型，HumanEval 提升 4.27 分

CMU、Amazon、Meta 等机构联合发布论文 STAPLE（Static Sparse Upcycling of Pretrained Checkpoints via Embedding），提出对预训练模型进行低成本稀疏升级的方法：通过嵌入模块替代完整训练，为模型增加稀疏记忆。实验显示该方法在 OLMo-2 上使 HumanEval 提升 4.27 分，为低成本增强现有模型提供了新路径。

2026-10-20 ~ 2026-10-20 · 2 条相关

• STAPLE 论文:给预训练模型加稀疏记忆,OLMo-2 上 HumanEval 提升 4.27 分 — teortaxesTex · 2026-10-20
• STAPLE 论文:对预训练模型做低成本稀疏升级,嵌入模块替代完整训练 — teortaxesTex · 2026-10-20