LLM 预训练下一步：把数据纳入架构与优化的联合设计

akbirthko · x · 2026-11-04

作者提出工业级 LLM 预训练的三大要素是架构、数据与优化，视作三个相互咬合的圆。架构与优化的协同设计已有大量进展：针对 embeddings、LM head 与 Over-Encoding、Engram 等模块定制的优化器，以及针对部分 Transformer 权重矩阵的 Muon。他认为下一步是把数据全面拉进协同设计，已有方向包括数据课程与学习率课程的联合设计，n-gram 模块的训练动态也依赖数据。配图为架构-数据-优化三圆维恩图，交点即 co-design。