新论文扩展 Chinchilla 定律,量化预训练数据的「域间协同效应」
LesterMackey · x · 2026-10-09
论文《Domain-Aware Scaling Laws Uncover Data Synergy》(Hamidieh、Lester Mackey、David Alvarez-Melis)将成对的域间交互引入 scaling law,扩展了 Chinchilla 框架。基于 52 个开源权重 LLM 的观测数据拟合,论文定义并量化了「数据协同(data synergy)」:多个域混合的贡献可能超过或低于各自单独贡献之和——例如加代码数据提升数学推理,某些混合则相互干扰。框架区分了一阶「域到基准」协同与二阶「域-域」协同,预测精度优于域无关 scaling law;作者通过按预测最优/反最优混合比训练模型验证了估计的稳定性,证实其能正确预测性能排序。
「研究」频道最新
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- 作者用布尔逻辑造 LM:前向传播单线程仅需几微秒但训练极慢 — cephaloform · 2026-10-23
- AdaDex:几秒人手视频即可教灵巧手学会抓取、抛接等可泛化技能 — mangahomanga · 2026-10-23