Meta 研究员 Rylan Schaeffer 离职创业并总结预训练研究心得

Meta TBD 研究员 Rylan Schaeffer 发长帖宣布离职创业，并总结过去两年的预训练研究成果：包括生成式评测的 scaling law（用模型对 gold 参考答案的 log-likelihood 预测 GSM8K 通过率）、规模相关的数据重复效应，以及数据重复与模型规模间的非平凡交互。他反思称后悔 2024 年 1 月没有押注推理时扩展（inference-time scaling）与 AI 自动研究这两个方向，并在结尾致谢合作者。

2026-10-20 ~ 2026-10-20 · 4 条相关

• 生成式评测也有 scaling law：gold 似然预测 GSM8K 通过率 — RylanSchaeffer · 2026-10-20
• Rylan Schaeffer 总结预训练研究：评测 scaling、数据重复与规模交互 — RylanSchaeffer · 2026-10-20
• Meta 研究员离职创业：悔于没早押注推理扩展与 AI 自动研究 — RylanSchaeffer · 2026-10-20

另有 1 条近重复转述:RylanSchaeffer