32位研究者耗时8个月发布最全Tokenization综述

一篇由 32 位 tokenizer 领域研究者历时约 8 个月合作完成的综述论文在 Reddit 引发关注，作者声称这是分词领域迄今最全面的综述。论文指出 tokenization 是语言建模中被严重低估的研究方向，尽管其影响贯穿整个 NLP 流程，相关工作此前缺乏系统性梳理，该综述试图填补这一空白。

2026-10-01 ~ 2026-10-01 · 2 条相关