单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型

Tall_Abrocoma_3533 · reddit · 2026-11-19

AuroraAI-Research 发布 Aurora2-400M-A20M,一个极小的稀疏 MoE 模型:仅用一块 RTX Pro 6000、约 36 小时、100B tokens 从零预训练完成。

HF 仓库含更多信息与快速上手代码,适合作为 MoE 与小规模预训练的实验平台。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →