新研究：分词器越大 multi-epoch regret 越高，小词表更抗重复训练

SonglinYang4 · x · 2026-11-04

Wenhao Chai 发布实验博客，指出 n-gram 已主导近期预训练 speedrun，但在 multi-epoch 设定下表现糟糕。固定文本量训练 8 个 epoch 时，分词器越大 multi-epoch regret 越严重——即重复数据相对训练唯一数据带来的额外损失，大词表 tokenizer 受影响更明显，小词表更能存活。

博客解释了字节级 BPE 的机制：从 256 个单字节起步反复合并高频相邻对构建词表，每个 token 有输入 embedding 行和输出 softmax 行；并以 Llama 3 的 Marin 分词器（128K 词表）演示 " memorizes" 的 8 次合并编码过程，对比 8K 小词表更早停止合并。作者公开了代码、训练曲线和全部实验记录。