30 余位作者合著 tokenization 综述，梳理子词切分的优势与缺陷
rdesh26 · x · 2026-11-09
Marco Cognetta 等人发布长篇综述《Tokenization: A Survey for Modern NLP》（alphaXiv 九月第 6 名），系统梳理现代 LLM 流水线第一步的 tokenization 技术。
- 核心方法：当前主流是子词分词——比字/字节粒度大、比词粒度小。相比词级模型，它解决了 OOV 问题并控制词表规模，减少 embedding 参数与 logits 数量；相比字符级模型，每个 token 携带更多信息、序列显著更短。
- 已知缺陷：分词规则僵化，单一方案难以跨语言泛化；切分歧义给对抗攻击留下空间；多语言场景下高/低资源语言的 token 分配需显式平衡等。
- 综述还覆盖了脚本专属的编码方案等新近思路，适合作为分词方向的入门与进阶参考。
「模型」频道最新
- 决策/抽取专用模型兴起,保险理赔流程从 61.7 秒缩至 19.3 秒 — max_gladysh · 2026-11-09
- 社区质疑 Opus 5 明显不如前代，有人称其为「退步发布」 — adonis_singh · 2026-11-09
- 测试 59 局核博弈：Mistral 100% 先发制人，其他模型都选合作 — eliebakouch · 2026-11-09
- 开发者称 Opus 5.5 是今年最好的模型发布 — adonis_singh · 2026-11-09
- Gemini Krypton 对阵 Opus 5.5：速度 Opus 赢，视觉 Krypton 胜 — kimmonismus · 2026-11-09
- 爆料称谷歌新模型「Krypton」表现惊人，内部或已接近递归自我改进 — kimmonismus · 2026-11-09