新研究：大模型在预训练中更能容忍数据重复
StanfordAILab · x · 2026-08-22
StanfordAILab 转发关于预训练数据重复的研究。研究发现，在固定 token 数和参数量的情况下，更大的模型可以容忍更多的数据重复。此外，更高的模型规模和更短的学习率衰减也有助于提高对重复的容忍度。这表明在高质量数据稀缺时，重复利用高质量数据可能是可行的。
「研究」频道最新
- EMNLP 2026 论文：RAG 检索思维轨迹提升推理 43% — matei_zaharia · 2026-08-22
- Woolly 让 Qwen3-8B 数理解码提速 2-3 倍 — bosmeny · 2026-08-22
- GTSAM 4.3新增CUDA后端，加速非线性优化 — fdellaert · 2026-08-22
- Nature 发布流体动力学强化学习平台 HydroGym — eigensteve · 2026-08-22
- 谷歌开源生物标记发现框架：多智能体挖掘可穿戴数据 — yang_yuzhe · 2026-08-22
- CVPR 2026 口语报告：细粒度负向提问让 MLLM 集体幻觉 — zeynepakata · 2026-08-22