前训练研究圈大实话：数据重复与过度训练是常态
SonglinYang4 · x · 2026-11-11
huskydogewoof 分享了几条「不流行但属实」的前训练（pretraining）研究观察，研究者 SonglinYang 表示认同（"true"）：
- 数据重复（data repetition）是非常普遍的做法，并非例外；
- 过度训练（over-training，约 1000 TPP，tokens per parameter）同样常见；
- 长期看，数据高效的架构与算法比当前硬件友好的设计更重要；
- FineWeb-Edu 是不适合用来测试架构的数据集，用它得出的架构对比结论可能有误导性。
这几条对理解大模型预训练的真实工程实践与论文复现有直接参考价值。
「Infra」频道最新
- Chips and Cheese 深析 AMD Zen 6:分支误预测代价显著降低,整数调度回归 Zen 3/4 布局 — jedisct1 · 2026-11-11
- Together 研究负责人谈内核原理与 AI 优化自身推理的循环 — togethercompute · 2026-11-11
- PyTorch ExecuTorch 新增 WebGPU 后端:模型一次导出浏览器直跑 — PyTorch · 2026-11-11
- Hedra 让 AI Agent 跑训练实验，人类研究员只做引导 — testingcatalog · 2026-11-11
- Simular Box 发布：一个 MCP 链接给 Agent 配云端 Linux 桌面 — AdFluid9823 · 2026-11-11
- TokenSpeed 在 32 张 GB300 上跑 Kimi K3,单卡 331 tokens/s — zhyncs42 · 2026-11-11