生成式评测也有 scaling law：gold 似然预测 GSM8K 通过率
RylanSchaeffer · x · 2026-10-20
Schaeffer 展示与 Joshua Robinson 等合作的预训练论文：(1) 生成式评测的 scaling law——用模型对 gold 参考答案的 log-likelihood 可比算力 scaling law 更紧地预测 GSM8K pass@k；(2) 规模相关的数据重复——对 1.9 亿 FineWeb-Edu 文档的近邻相似度测量显示，大语料下近重复样本远超各向同性基线预期；(3) 数据重复的 CEG 曲线呈 U 型，344M 模型重复约百次时相当于损失 33% 算力，但重复上千次后收益回升。
所属事件:Meta 研究员 Rylan Schaeffer 离职创业并总结预训练研究心得(4 条相关)→
「研究」频道最新
- 克里特团队破解毛霉病谜题：白蛋白是人体天然防线 — realmeetjames · 2026-10-20
- 世界模型是否被建错了？Sonia Joseph 深谈可解释性与物理理解 — soniajoseph_ · 2026-10-20
- 280 个纤维化增强子图谱绘出:CRISPRi CROP-seq 系统扰动 55 万细胞 — anshulkundaje · 2026-10-20
- Jason Wei：放射科不会被 AI 自动化，需求弹性是关键变量 — _jasonwei · 2026-10-20
- 研究：生成式AI只让高元认知者更有创造力，其余人零提升 — korymath · 2026-10-20
- EMNLP 论文:换个打分方案就能改写 LLM 排名 — BrihiJ · 2026-10-20