新 tokenizer 改造法让预训练模型泰语 token 减少 4 倍
kastnerkyle · x · 2026-07-23
这篇工作提出了一种在不从头重训的情况下，给预训练模型“换词表”的方法。作者不是简单地往 tokenizer 里硬加新词，而是继续做 BPE 学习，并配合 leaf-based vocabulary pruning 去掉冗余 token。
论文给出的效果很直接：
- 泰语 token 数减少 4.0 倍
- 越南语减少 2.6 倍
- 印地语减少 2.4 倍
- 在这些语言上，端侧按字符解码的速度估计可提升 2.2～3.7 倍
作者强调，tokenizer 虽然很少被关注，却会显著影响多语言模型的使用效率；这套方法也被开源成工具包。
所属事件:Liquid AI 原地扩容 LFM2 词表至 128K，多语言解码大幅提速(5 条相关)→
「模型」频道最新
- 网传 Terminal-Bench 4.0 图：GPT-6.1 Terra 以最低成本登顶 — Angaisb_ · 2026-10-27
- OpenAI 推出 GPT-6.1 Terra:主打低成本高速计算机操作 — OpenAIDevs · 2026-10-27
- GPT-6.1 Terra 全量上线:Plus/Pro/企业/Edu 可用,API 名 gpt-6.1-terra — OpenAI · 2026-10-27
- 模型为何泄露信息难有定论，PyTorch 作者：网络安全中动机不重要 — brhydon · 2026-10-27
- 为什么没有更多 10M 上下文模型?研究者抛出注意力机制疑问 — agarwl_ · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27