Token 叠加训练：10B MoE 模型省 2.5 倍算力达同等损失

gordic_aleksa · x · 2026-09-19

Aleksa Gordić 解读 Nous Research 的预训练新思路「token superposition training (TST)」：

做法：预训练初期不逐 token 处理，而是把相邻 s 个 token 的 embedding 平均成一个 latent token，用它预测接下来不重叠的 s 个 token（softmax 目标各 1/4 权重）。如 s=4 时 [A B C D] 的均值 embedding 预测 {E,F,G,H}。
效果：序列位置数减少约 4 倍，同样 FLOPs 可暴露给模型更多原始文本；之后切回标准 next-token 训练恢复精确词序。10B MoE 实验显示达到相当或更好的 loss 只需约 2.5 倍更少算力。
直觉：TST 先给文本一个「模糊低分辨率」版本，再用自回归训练「锐化」，类比计算机视觉的 Laplacian 金字塔。
关键前提：假设训练处于算力受限而非数据受限状态——作者自嘲这恰与当前「数据受限」的行业共识相反，但仍是值得做的有趣实验。

「Infra」频道最新