个人从零训练 21B MoE(激活 3.36B),仅用 70B tokens 观察到涌现现象
Prestigious-Taste-63 · reddit · 2026-10-28
独立开发者公开 Apex-3:一个完全从零训练的 20.99B 参数 MoE 模型(每 token 激活 3.36B),只用 70B tokens 训练(配 SuperBPE 分词器,约等效 100B tokens 效率),架构为 64 路由专家+1 共享专家(top-4),用 Muon 和 DiLoCo 在 GH200 上训练,已发布稳定 checkpoint 供社区继续训练。训练日志揭示了几个关键现象:
- 唯一干净的相变是 ICL/归纳头跳变:在 1.3B1.5B tokens 间约 150 步内 ICL 分数增长约 5 倍(-0.08→-0.69),仅占总训练量的约 0.1%,随后稳定。
- 算术「涌现」是指标假象:correct-token 概率连续上升(如 add3 从 0.003 涨到 0.224),exact match 跳变只是概率越过决策阈值。
- LR decay 意外巨大:49B→59B 间 add3 概率稳定在 0.29,decay 后跳到 0.60;整体 exact match 从 0.52 升至 0.67。
- MoE 负载均衡自行收敛:早期最大专家负载达均值 12.8 倍,70B tokens 结束时收敛到 1.071.38 倍。
- 各领域验证 CE 平滑下降无相变;最终 benchmark:HumanEval+ 19.5%、MBPP 38.9%、GSM8K 8-shot 约 20%。
作者附上全部训练代码与 run logs,并注明算术任务仅 64 题、标准误可达 ±6 个百分点等注意事项。
「研究」频道最新
- ARPA-H 拨款至多 5200 万美元,约翰·霍普金斯用 AI 解码蛋白质错误折叠 — JosephJacks_ · 2026-10-28
- 微软诊断 AI 登 Science 并开源,再证 Gemini 4 Argon 医疗潜力 — vivnat · 2026-10-28
- Machenta 展示机器人实时反应与自主恢复:纯仿真训练、零实机示范 — Ed__Johns · 2026-10-28
- DeFM 机器人深度优先基础模型：为何锚定深度而非编码器特征 — chris_j_paxton · 2026-10-28
- AI 形式验证工具揪出 Redis 23 字符冻结服务器的真实漏洞 — LingmingZhang · 2026-10-28
- 研究指出：变异效应预测器正被用于生成训练自己的 ClinVar 标签 — pastramimachine · 2026-10-28