斯坦福研究提出合成数据重写的 Scaling Law

Percy Liang 组在 arXiv 发表论文《Rewriting Scaling Laws for Synthetic Data》，用 scaling law 量化合成数据改写的算力收益。合成数据改写已成为大模型预训练中提升数据质量、缓解数据短缺的标准手段，但改写应投入多少算力、改写数据训出的模型能否超越改写模型本身此前缺乏定量答案。研究给出指导：最优合成数据比例随算力增长可升至约 32%。

2026-10-31 ~ 2026-10-31 · 3 条相关

• 合成数据重写该花多少算力？新研究用 scaling laws 给出答案 — ChengleiSi · 2026-10-31
• 新研究用 scaling law 量化合成数据改写的算力收益 — chrmanning · 2026-10-31
• Percy Liang 组提出重写 Scaling Law:最优合成数据比例随算力升至 32% — stanfordnlp · 2026-10-31