数据重复致LLM预训练算力浪费可达33%
RylanSchaeffer · x · 2026-07-05
数据重复对LLM预训练有害已被广泛认知。Chudnovsky的论文进一步表明，这种危害取决于模型参数量、重复文档数量与重复次数之间可预测的scaling相互作用；错误的组合会严重浪费算力，最多可达约33%。
所属事件:斯坦福研究：数据重复致LLM预训练算力浪费达33%(2 条相关)→
「研究」频道最新
- HF 工程师争论:非生成任务全用因果注意力是在浪费算力 — antoine_chaffin · 2026-09-11
- 智利学者：AI 反馈规模化是医学教育可持续的关键 — julianvarascom · 2026-09-11
- Nature 新研究实现全身器官细胞活动成像,揭示跨器官体级回路 — arjunrajlab · 2026-09-11
- SignNet 1M 手语数据集发布 — ducha_aiki · 2026-09-11
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- InFlux++ 方法发布 — ducha_aiki · 2026-09-11