535B MoE 训练全程公开，预注册损失预测引热议
juliusadml · x · 2026-08-22
博主 Julius 分享了 535B 参数 MoE 模型的训练过程，并强调全程公开这一“终极自信”做法。他引用 Percy Liang 的观点，指出除了预测最终损失外，还能预测中间检查点的损失，从而在整个训练航程中实时追踪进度是否达标。
「研究」频道最新
- EMNLP 2025 论文：用 ICL ciphers 量化上下文学习 — hanjie_chen · 2026-08-22
- 论文入选 EMNLP 2024 主会，今年录用率仅 15.4% — hanjie_chen · 2026-08-22
- AI 助攻量子算法：ECDSA 攻击效率提升 25.8% — gajesh · 2026-08-22
- Fable 证明构建被指缺乏原创性，目标驱动力压倒好奇心 — davidad · 2026-08-22
- IIT Delhi 实验室 7 篇论文入选 EMNLP 2026 — Tanmoy_Chak · 2026-08-22
- 损失函数的谜团：非线性的深度投票 — iamtrask · 2026-08-22