斯坦福 22B 训练实测：合成改写数据的算力分配可用 scaling law 预测
stanfordnlp · x · 2026-10-31
Stanford NLP 转发的研究线程探讨预训练中应分配多少算力来合成改写数据。团队用 scaling law 回答两个问题：改写数据上花多少算力合适，以及用改写数据训练的模型能否超过做改写的模型。他们在超出拟合范围 33 倍的规模训练了 22B 的 hero run，最终 loss 与预先注册的预测仅差 1.1%，验证了拟合的可靠性。
所属事件:Percy Liang 组用 scaling law 定量合成数据改写算力分配(4 条相关)→
「研究」频道最新
- NVIDIA BindClaw 引发观察：AI4Bio 新方法必须接入 Agent 流水线才算完整 — rishabh16_ · 2026-10-31
- Kyutai 等复现 Neural Thickets：收益无需权重扰动，冻结模型加 logit 偏置即可 — kastnerkyle · 2026-10-31
- CS312 课程长文:预训练中「尖锐度」与稳定性边缘之谜 — tatsu_hashimoto · 2026-10-31
- AI 听懂狼嚎：黄石公园 50 万小时录音交给模型分析 — aza · 2026-10-31
- NBER 论文：工人「训练自己的替代者」反而可能涨薪 — joshgans · 2026-10-31
- Trata 发布 Hedge-Bench:顶级模型金融预测准确率不过半 — ycombinator · 2026-10-31