STAPLE 论文：静态稀疏记忆扩展预训练 LLM，能耗比 MoE 低超 50%
BeidiChen · x · 2026-10-13
InfiniAI Lab 与 CMU Beidi Chen 团队发布 STAPLE（arXiv:2610.12599），一种把静态稀疏记忆（大型 embedding 表）集成进已预训练模型的「上循环」方法，无需从头重训。
要点：
- 在 OLMo-2 1B 上，较继续稠密训练提升 HumanEval +4.27、MBPP +2.80、GSM8K +2.27、DROP +1.65，并在 7B 上保持增益
- 高吞吐场景下每 token 服务能耗接近稠密模型，比 MoE upcycling 低 50% 以上
- 与 DeepSeek Engram、同步工作 STEM 一脉相承；STAPLE 保留 FFN 上投影、把 embedding 作为残差通路加入，兼容 MoE upcycling
- 卖点：可扩展容量、记忆可解释、服务成本几乎不增
在数据中心电力受限背景下，作者称 embedding scaling 是一条节能的能力扩展轴。
「Infra」频道最新
- 团队推 Noise：押注零阶优化取代反向传播，预训练再提速千倍 — madhavsinghal_ · 2026-10-13
- OpenAI 演讲照曝光：ChatGPT 周活超 10 亿，算力每两年增 10 倍 — firstadopter · 2026-10-13
- 应用材料 EPIC Center 揭幕，分析师看好晶圆厂设备需求 — BenBajarin · 2026-10-13
- Cloudflare 采用 SGLang 服务 Clef，单 H200 决策延迟低于 40ms — ying11231 · 2026-10-13
- 16GB 显存跑 Qwen3.8 27B：262k 上下文+视觉，作者公开调参细节 — Fancy-Snow7 · 2026-10-13
- Perplexity 11 月 9 日纽约办 Orbit 活动，聚焦 infra 与平台 — andrewgwils · 2026-10-13