合成数据重写该花多少算力？新研究用 scaling laws 给出答案
ChengleiSi · x · 2026-10-31
转发的推文线程提出两个关键问题：用合成重写（synthetic rewrites）提升数据质量时，到底该花多少算力做重写？以及在重写数据上训练出的模型，能否反超执行重写的模型？作者通过拟合 scaling laws 来定量回答这两个问题。
背景是合成重写已成为数据受限场景下改善数据质量的标准做法，但算力分配一直缺乏理论指导；这项工作把「重写预算」与「下游性能」的关系纳入 scaling law 框架。
「研究」频道最新
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- 30 位专家定义 AI 临床安全分类法，压测显示离自主诊疗仍很远 — AleksandraFaust · 2026-10-31
- 手写 RAGEN 代码成 FrontierCS 2 第三难任务，限 0.5 A100 小时 — wzenus · 2026-10-31
- 复旦腾讯清华推出 ExplorationBench：55 个改动规则考验 AI 真探索能力 — jiqizhixin · 2026-10-31
- 机器人评测绕不开基准难题:Drift 主张按真实部署场景定制测试 — jonstephens85 · 2026-10-31
- 研究发现：对抗非人类相似模型训练时，能力迁移明显触顶 — saurabh_shah2 · 2026-10-31