字节研究LLM预训练中高质量数据重复策略
ByteDance-Seed · hf · 2026-08-17
字节跳动论文研究了在模型规模与训练令牌成比例缩放的情况下，LLM预训练中高质量领域数据的最佳重复策略。研究发现最佳重复次数随规模温和增长，且与领域验证损失相关，而非仅依赖独特数据量。
「研究」频道最新
- Latent On-Policy Self-Distillation 提升智能体性能 — NationalUniversityofSingapore · 2026-08-17
- 实测发现插入不可见字符可移除 Claude 水印 — Available-Deer1723 · 2026-08-17
- 迈阿密大学推AI工具，可从零发明全套人造语言 — begusgasper · 2026-08-17
- 研究：细微架构选择严重阻碍模型长上下文能力 — rohanpaul_ai · 2026-08-17
- 苹果新基准揭露大模型数学能力假象：仅靠模式匹配 — anirbanbandyo · 2026-08-17
- 无创血压监测新突破：FMCW雷达结合动量自适应校准实现高精度测量 — maier_ak · 2026-08-17