Percy Liang 组提出重写 Scaling Law:最优合成数据比例随算力升至 32%
stanfordnlp · x · 2026-10-31
Percy Liang 等人在 arXiv 发布论文《Rewriting Scaling Laws for Synthetic Data with Compute and Data Constraints》,研究预训练中「合成重写数据」(用 LLM 把自然文档改写成目标风格)的两个关键问题:该花多少算力做重写、以及在重写数据上训练的模型能否超越重写器本身。
核心发现:
- 提出一条「重写 scaling law」,由模型大小、训练 token 数、重写 token 占比、自然数据 epoch 数预测损失,并把生成重写所花的算力计入成本
- 算力受限设定下:最优重写占比随算力增长,从 3×10^18 FLOPs 时的不足 10% 升至 10^22 FLOPs 时的 32%
- 将预测外推 33 倍 FLOPs 训练 22B 参数模型,最终损失与预测仅差 1.1%
- 该模型在多个网页域名上的 BPB 优于其重写器,而训练算力只有重写器的十分之一
- 数据受限设定下也有对应分析(固定自然数据种子集,重写器与目标模型同规模)
所属事件:Percy Liang 组用 scaling law 定量合成数据改写算力分配(4 条相关)→
「Infra」频道最新
- Cornell 教授联合创办的 Makora 获 175 万美元奖励，专攻 AI 提效降本 — srush_nlp · 2026-10-31
- Transformers.js 月 npm 下载量一年涨 9 倍，从 164 万冲到约 1500 万 — nicodotdev · 2026-10-31
- Agent 并发每半年翻倍,AgentWrap 改用「Agent 即函数」运行时 — matanSF · 2026-10-31
- Anthropic 上半年人力成本暴涨 486% 至 31.5 亿美元，股权薪酬占七成 — rohanpaul_ai · 2026-10-31
- 双 3090 + 32GB 内存跑不动 Qwen Strata 低比特量化，作者纠结是否再花 479 美元加内存 — runcertain · 2026-10-31
- a16z 图说：GPU 租金三个月最高涨 106%，token 均价反降 58% — a16z · 2026-10-31