STAPLE 论文:给预训练模型加稀疏记忆,OLMo-2 上 HumanEval 提升 4.27 分
teortaxesTex · x · 2026-10-20
CMU、Amazon、Meta 等机构发布论文 STAPLE(Static Sparse Upcycling of Pretrained Checkpoints via Embedding Modules)，提出一条把静态稀疏记忆注入已有预训练检查点的升杯路线。
核心做法：不同于 STEM 直接替换 FFN up-projection，STAPLE 保留原投影，在 FFN 内部以残差方式加入一个按 token ID 索引的可学习嵌入表；新表零初始化，起点与原模型完全一致，训练中逐步学得 token 专属信息。
结果(OLMo-2 1B)：相比继续稠密训练，HumanEval +4.27、MBPP +2.80、GSM8K +2.27、DROP +1.65，且增益在 7B 上延续；优于 STEM、Engram 式模型等参数匹配基线。
效率：相比 MoE 升杯基线，解码快 2×、GPU 模型显存不足一半、每 token 能耗降超 50%；embedding 大表放 CPU，仅缓存约 5% 高频 token，生成/训练吞吐与稠密基线差距在 1.5%/3% 以内。代码与主页已开源。
所属事件:STAPLE：稀疏记忆升级预训练模型，HumanEval 提升 4.27 分(2 条相关)→
「Infra」频道最新
- Modal 开源 Spindle：Tinker 兼容训练服务器，按 GPU 计费不再按 token 付费 — andersonbcdefg · 2026-10-23
- Intel CTO：芯片产能最多翻倍，追不上 AI 算力每年 3 倍增速 — SammaVaco · 2026-10-23
- 工程师拆解投影电视唤醒慢根因：双 Linux 板冷启动拖慢 10 秒 — banteg · 2026-10-23
- Ollama CEO 称企业级 AI 正迎来它的 PC 时刻 — ollama · 2026-10-23
- Modal 开源 Spindle：Tinker 兼容自托管训练服务器，按 GPU 计费替代按 token 计费 — josh_wills · 2026-10-23
- Aleph Alpha 拆解 RL 环境基建踩坑:GPU 停摆、磁盘爆满、沙箱崩溃被记为答错 — _ScottCondron · 2026-10-23