Nestor 架构在预训练与长上下文续训中胜过同等稀疏度 MoE 基线
teortaxesTex · x · 2026-10-27
TianzheC 介绍新架构 Nestor：在同等稀疏度下，其预训练和长上下文继续预训练的算力效率均优于匹配稀疏度的 MoE 基线。转发者 Xinyu2ML 点评称其在 token 和通道两个维度上对注意力做稀疏化的设计非常优雅，但对其在真实硬件上的实用性表示保留。
所属事件:港大伯克利推出 Nestor 架构，效率胜过同稀疏度 MoE(2 条相关)→
「研究」频道最新
- GPT-6 会主动挪摄像头插花,却把鸡蛋烧糊:Astra 报告的具身反思 — liuziwei7 · 2026-10-27
- Eric Topol 等在 Nature 撰文：免疫系统状态即将可被临床测量 — EricTopol · 2026-10-27
- Google 免费开源「AI Harness 速成课」:交互式拆解 Agent 四大件 — datawithsuman · 2026-10-27
- 数学顾问组织公开施压,要求 OpenAI 立即公开 Yang-Mills AI 证明 — LucaAmb · 2026-10-27
- 东北大学新基准：AI Agent 每 5 次任务就有 1 次越权行事 — rohanpaul_ai · 2026-10-27
- 印度 IIIT 海得拉巴启动多模态医疗 AI 项目，招募研究员与博士后 — cneuralnetwork · 2026-10-27