《现代 NLP 分词综述》上线 alphaXiv:系统梳理子词分词的优劣
yuvalpi · x · 2026-10-01
Marco Cognetta、Yuval Pinter 等数十位研究者合作的长篇综述《Tokenization: A Survey for Modern NLP》发布,登上 alphaXiv 热门榜第 12 位。
- 综述聚焦大模型流水线第一步的 tokenization,重点讲子词分词:相比词级模型解决 OOV 问题、控制词表与 embedding 参数规模;相比字符级模型缩短序列、改善归纳偏置。
- 同时系统盘点其缺陷:分词方案刚性、跨语言泛化差;切分歧义带来对抗攻击面;多语言场景需在高低资源语言间显式平衡 token 分配。
「研究」频道最新
- 团队审计OpenAI纳维-斯托克斯证明:数学成立,物理上流体0.7纳米即蒸发 — OrganizationTop9026 · 2026-10-01
- Lancet 提议设立"临床-AI 科学家"医学新职业路径 — pearsekeane · 2026-10-01
- 284个真实bug基准:AI审查agent抓出93%问题,成本降63% — jiayq · 2026-10-01
- RICE：零训练把 LLM 变成高效稠密检索器 — CShorten30 · 2026-10-01
- 新成像模态功能超声科普:原理与计算改进路径 — patrickmineault · 2026-10-01
- 实测10个开源提示注入检测器：默认阈值偏差百倍，健康检查形同虚设 — rudra-sh · 2026-10-01