港大伯克利推出 Nestor 架构，效率胜过同稀疏度 MoE

港大朱天泽与 UC Berkeley 的 Druv Pai、Yi Ma 发表新架构 Nestor，提出一种新的条件计算机制：与 MoE 在 MLP 层做稀疏化不同，Nestor 用注意力嵌套稀疏替代。实验显示在同等稀疏度下，其预训练与长上下文继续预训练的算力效率均优于匹配稀疏度的 MoE 基线，社区认为其在 token 效率上表现突出，兼顾预训练与持续学习。

2026-10-27 ~ 2026-10-27 · 2 条相关

• 港大伯克利提出 Nestor：注意力嵌套稀疏替代 MoE，兼顾预训练与持续学习 — hkuhk · 2026-10-27
• Nestor 架构在预训练与长上下文续训中胜过同等稀疏度 MoE 基线 — teortaxesTex · 2026-10-27