Meta研究员Schaeffer离职创业：悔未早押推理扩展
Meta研究员Rylan Schaeffer于10月20日发布长帖宣布离职创业，并系统回顾了过去两年的预训练研究与职业反思。他坦言最后悔的两件事：一是2024年1月没有押注推理时算力扩展（inference scaling），二是2024年4月没有押注AI自动研究，认为自己虽较早看到方向却未全力投入。
已确认
- Schaeffer披露，早在2024年1月他就向Ethan Perez提议研究预训练scaling与推理scaling之间的兑换率，思路基于Andy Jones的著名论文，时间比OpenAI发布o1早9个月；同期他还在伯克利进行相关研究。
- 与合作者完成的预训练论文成果包括：与Joshua Robinson等合作的生成式评测scaling law——用模型对gold参考答案的log-likelihood可以比算力scaling law更紧地预测GSM8K通过率；规模相关的数据重复效应；以及数据重复与模型规模之间的非平凡交互。
- 他在帖尾致谢合作者，并分享感悟：机器学习的许多规律可迁移到人生与更大系统的设计中。
为什么重要
Schaeffer的经历折射出大厂研究员在技术范式切换期面临的抉择：即便提前数月识别出推理扩展这一方向，若未果断押注仍可能错失先机。其离职创业本身也被他视为对下一波浪潮（AI自动研究）的下注。
2026-10-20 ~ 2026-10-20 · 5 条相关
一手来源
- Meta 研究员离职创业：悔于没早押注推理扩展与 AI 自动研究 — RylanSchaeffer ·
- o1 发布前 9 个月他已提出研究预训练与推理算力兑换率 — RylanSchaeffer ·
- 生成式评测也有 scaling law：gold 似然预测 GSM8K 通过率 — RylanSchaeffer ·
- 【源头】o1 发布前 9 个月他已提出研究预训练与推理算力兑换率 — RylanSchaeffer · 2026-10-20
- 【源头】生成式评测也有 scaling law：gold 似然预测 GSM8K 通过率 — RylanSchaeffer · 2026-10-20
- Rylan Schaeffer 总结预训练研究：评测 scaling、数据重复与规模交互 — RylanSchaeffer · 2026-10-20
- 【源头】Meta 研究员离职创业：悔于没早押注推理扩展与 AI 自动研究 — RylanSchaeffer · 2026-10-20
另有 1 条近重复转述:RylanSchaeffer