斯坦福研究:预训练数据重复最坏可浪费33%算力
sanmikoyejo · x · 2026-07-05
斯坦福团队(jchudnov;共同一作 Joshua K.、Noam Levi;以及 Rylan Schaeffer、Yegor D.、Bo He、Sanmi Koyejo 等;隶属 Stanford HAI / AI Lab / NLP)发布关于预训练数据重复(repetition)的新研究。
随着预训练越来越受数据量约束,数据重复难以避免,而重复的代价无法仅用「重复数据占比」来衡量——占比相同的数据集,风险可能差异很大。研究发现重复危害在「中等重复次数」处达到峰值:小数据池重复极多次会被快速记住,大数据池重复少次则更慢但同样有害;且峰值出现的位置随模型规模呈清晰趋势,大模型峰值出现更晚,该规律对架构依赖很小。
最坏情况下,残留重复可浪费约 33% 的算力,而仅看 loss 曲线难以察觉。去重虽是标准做法但不完美,团队用新方法量化了残留重复的实际危害。
所属事件:斯坦福研究：数据重复致LLM预训练算力浪费达33%(2 条相关)→
「研究」频道最新
- arXiv 避坑提示续：分类器推荐不同主分类时应接受，否则几乎必被搁置 — tdietterich · 2026-10-27
- arXiv 积压超 4000 篇论文被搁置，版主致歉并给出避坑建议 — tdietterich · 2026-10-27
- CoreWeave 三周 RL 后训练:BrowseComp 提升 22.9%,工具调用省三成 — RichardSocher · 2026-10-27
- 开源决策模型打《红色警戒2》：先卖基地后自瞄自炸，训练后无人能敌 — heathercmiller · 2026-10-27
- DeepMind 论文：LLM 无法自行随机采样，需外部传入随机数 — rohanpaul_ai · 2026-10-27
- 世界模型新玩法：物体赋重量摩擦系数，物理引擎推演机器人动作 — jonstephens85 · 2026-10-27