Magic 披露预训练方法论：数十项改动叠加，修小 bug 也是算力乘数
magicailabs · x · 2026-09-09
Magic 在预训练效率研究的跟进帖中透露更多细节：
- 其预训练配方是模型架构、优化器、训练目标、数据等数十项改动相乘的结果。
- 团队体会到「修复小 bug」同样是算力乘数。
- 为平衡数据取舍，除标准 out-of-sample 评测外还使用「知识评测」（knowledge evals），且为每一代模型重新制作知识评测，避免随时间过拟合。
所属事件:Magic 宣称算法效率提升 50 倍，50 万美元级成本匹配 DeepSeek V4 Pro 预训练(6 条相关)→
「研究」频道最新
- Lila Sciences 联合创始人 Kompa 入选 MIT TR35,估值超 13 亿美元 — tw_killian · 2026-09-09
- 100 个规则验证器加 300 项任务，团队为视频模型打造可验证 RL 训练配方 — DanielKhashabi · 2026-09-09
- 隐私问题出事才被想起,研究者重提 2022 年差分隐私预训练警示论文 — thegautamkamath · 2026-09-09
- RL 中的局部坏行为不会泛化出「涌现性错位」 — 1a3orn · 2026-09-09
- 思辨：能力 RL 环境中的模型可能学到「能用就用」的最笨启发式 — 1a3orn · 2026-09-09
- 实测拆解 6 年预训练进步:数据贡献 12 倍算力收益,模型仅 3.7 倍 — sebkrier · 2026-09-09