Tokenizer 改进已完成

alisawuffles · x · 2026-07-10

转发内容提到“tokenizers 已经修好了”，并表示希望更多模型采用这种做法。发言者补充说，如果公司愿意做后训练，这里还能获得很多收益。