STAPLE 论文:对预训练模型做低成本稀疏升级,嵌入模块替代完整训练
teortaxesTex · x · 2026-10-20
X 用户 teortaxesTex 分享论文《STAPLE: Static Sparse Upcycling of Pretrained Checkpoints via Embedding Modules》,并给出关键结论:确实可以对预训练 checkpoint 直接做 Engram 式稀疏增强。
方法要点:
- 并非完全等同原方法:它在现有 FFN 的 up-projection 中加入一个按 token 索引的 embedding 模块
- 属于更便宜、更快的稀疏 upcycling 路线,可在已有预训练权重基础上扩展稀疏能力,而无需从头训练
所属事件:STAPLE：稀疏记忆升级预训练模型，HumanEval 提升 4.27 分(2 条相关)→
「研究」频道最新
- AnyGoal 研究质疑世界模型:可能只是记轨迹,并未学到可复用的世界规则 — randall_balestr · 2026-10-23
- 分层稀疏注意力方法统一检索与采样，提升极端稀疏下长上下文推理 — Skylight1 · 2026-10-23
- 25 位学者新论文:用芯片供应链「硬暂停」前沿 AI 训练可行吗 — wfithian · 2026-10-23
- TUM 发布 Tadpole：自编码器当 3D PDE 基础模型，NeurIPS 论文 — jiqizhixin · 2026-10-23
- FDA 批准个性化新抗原癌症疫苗：每位患者产品皆不同 — alex_peys · 2026-10-23
- VIPerturb-seq 更新:10x Genomics 将推商业化单细胞 CRISPR 筛选产品 — anshulkundaje · 2026-10-23