港大伯克利提出 Nestor：注意力嵌套稀疏替代 MoE，兼顾预训练与持续学习
hkuhk · hf · 2026-10-27
港大朱天泽、UC Berkeley Druv Pai 与 Yi Ma 的论文 Nestor 提出一种新的条件计算机制。与 MoE 在 MLP 层做稀疏化不同，Nestor 将稀疏性引入注意力算子，且天然嵌套（层级组合）。
论文声称该机制在预训练、长上下文适配和持续学习上优于标准 MoE transformer，为大规模可扩展训练提供了 MoE 之外的另一条路径。
「研究」频道最新
- ENPC 视觉学者 Gül Varol 开招 2027 年视频与语言方向博士生 — gulvarol · 2026-10-27
- 研究称非英语用户承担“分词器税”:200 种语言成本差最高 17 倍 — alexvoica · 2026-10-27
- TianzheC 发布新研究：架构设计、理论与消融实验全开源 — YiMaTweets · 2026-10-27
- 完美校准≠预测准确：掷硬币也能做到完美校准 — gleech · 2026-10-27
- 北大新论文重构视频存储：解耦跨帧依赖，随机采样解码开销大降 — PKU · 2026-10-27
- SATE-Bench：316 场景 2525 问，测出 MLLM 主动空间探索会过早自信收手 — Tianchen Guo · 2026-10-27