单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型
Tall_Abrocoma_3533 · reddit · 2026-11-19
AuroraAI-Research 发布 Aurora2-400M-A20M,一个极小的稀疏 MoE 模型:仅用一块 RTX Pro 6000、约 36 小时、100B tokens 从零预训练完成。
- 总参数 400M,每 token 仅激活约 20M
- 32 个专家,每 token 激活 1 个
- 12 层 transformer,192 隐藏维度;6 个 query heads / 2 个 KV heads
- 2048-token 上下文,16384 词表
- 优化器组合 Muon + AdamW,训练数据混合网页、数学、维基百科与对话语料
HF 仓库含更多信息与快速上手代码,适合作为 MoE 与小规模预训练的实验平台。
「研究」频道最新
- LEV 循环决策模型:2.6B 模型四轮推理准确率 63.2%→76.2% — jiqizhixin · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- OpenVax 代码量 15 个月从 7.8 万行涨到 56.5 万行 — iskander · 2026-11-19
- François Fleuret:decoder Transformer 没有 trade-off 超参,足够优雅 — francoisfleuret · 2026-11-19