数据重复致LLM预训练算力浪费可达33%
RylanSchaeffer · x · 2026-07-05
数据重复对LLM预训练有害已被广泛认知。Chudnovsky的论文进一步表明，这种危害取决于模型参数量、重复文档数量与重复次数之间可预测的scaling相互作用；错误的组合会严重浪费算力，最多可达约33%。
所属事件:斯坦福研究：数据重复致LLM预训练算力浪费达33%(2 条相关)→
「研究」频道最新
- YC 活动上称，生物基础模型必须模拟细胞而非只会描述 — david_van_dijk · 2026-07-27
- 谢雅琪加入 UIUC 任助理教授，招募智能体与机器人方向学生 — dhruv2038 · 2026-07-27
- Kimi K3 在网络安全上很强，但 token 效率卡住了评测 — teortaxesTex · 2026-07-27
- ARC AGI 3 应该保持私有，不该公开示例和数据集 — flowersslop · 2026-07-27
- ExploitGym 可能只有六到七成任务可解，引发 OpenAI 作弊争议 — max_paperclips · 2026-07-27
- 5090 本地测试：80k 上下文下 Qwen Q6 速度掉到 15 tok/s — LFAdvice7984 · 2026-07-27