新训练配方宣称比标准 scaling 省 5.17 倍数据
inductionheads · x · 2026-07-21
这条转述的是一项关于 LLM 训练配方 的研究：当算力继续增长、数据却越来越紧张时，传统 scaling recipe 可能已经不够省数据。
原文给出的两个关键发现是：
- 在 2 亿 token 的预算下，把 weight decay 提到常规 0.1 的约 30 倍，比标准配置更有效；
- 在总参数量相同的前提下，训练一个 模型集成（ensemble） 往往优于单个更大的模型。
研究者基于 Chinchilla 式 scaling law 进一步推算：如果同时激进地放大单模型规模和集成规模，最终配方在相近效果下可实现 5.17 倍的数据效率提升。配图展示了标准 recipe、正则化 recipe、集成 recipe 以及联合 scaling recipe 的对比，联合策略的数据效率最好。
「研究」频道最新
- 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- Hi3D V1.0 开源发布：训练资产翻四倍，切片成功率 90% — kimmonismus · 2026-10-26
- Ortet 首次健康评测：34 个开源模型跑 50 项任务，综合排名不够用 — elmanmansimov · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- 研究者发现「Forking」现象：训练损失下降验证损失反升 — ZimingLiu11 · 2026-10-26