字节研究LLM预训练中高质量数据重复策略
ByteDance-Seed · hf · 2026-08-17
字节跳动论文研究了在模型规模与训练令牌成比例缩放的情况下，LLM预训练中高质量领域数据的最佳重复策略。研究发现最佳重复次数随规模温和增长，且与领域验证损失相关，而非仅依赖独特数据量。
「研究」频道最新
- SpliceAI2 剪接变异基准发布,九项评估性能大幅提升 — anshulkundaje · 2026-10-16
- GRPO 后训练会令分布坍缩,长程 Agent 时代反成隐患 — zsakib_ · 2026-10-16
- RFdiffusion3 登 Science:蛋白酶与金属水解酶设计大幅改进 — anshulkundaje · 2026-10-16
- ORL 让扩散语言模型重写速度-智能 Pareto 前沿,吞吐量提升约 6.9 倍 — james_y_zou · 2026-10-16
- CoT 理论论文被赞“解释了 Transformer 为何胜出” — willcb · 2026-10-16
- 陶哲轩警告 AGI 竞赛变味:OpenAI 论文轰炸冲垮初级研究项目 — Hesamation · 2026-10-16