LFM2 扩容 tokenizer 后，泰语 token 减少 4 倍
maximelabonne · x · 2026-07-21
一篇新文章讲的是如何扩展模型 tokenizer 以加入新语言
这篇博文介绍了团队如何扩展 LFM2 的 tokenizer，让它更高效地支持更多语言。
文中给出的例子是：LFM2.5-8B-A1B 把 tokenizer 从 65K 扩到 128K，目的是避免某些语言被切得过碎。带来的收益相当明显：
- 泰语：token 数减少 4.0 倍
- 越南语：token 数减少 2.6 倍
- 印地语：token 数减少 2.4 倍
- 在这些语言上，端侧按字符解码速度估计提升 2.2 到 3.7 倍
文章重点不是单纯展示结果，而是讲清楚了 如何在已有预训练模型上原地升级 tokenizer 的方法。
所属事件:Liquid AI 原地扩容 LFM2 词表至 128K，多语言解码大幅提速(5 条相关)→
「研究」频道最新
- Infini-AI Lab 开源 Hermit:让 agent 从经验中进化出好习惯 — BeidiChen · 2026-10-27
- Meta FAIR 提出 Self-Direction:把 agent 失败变成 LoRA 技能,成功率提 13.8pp — karen_ullrich · 2026-10-27
- DONIC 双手机器人追踪成功率 86.79%，远超此前 SOTA 的 9.43% — liuziwei7 · 2026-10-27
- 为什么没有更多 10M 上下文模型?研究者抛出注意力机制疑问 — agarwl_ · 2026-10-27
- 研究者吐槽:论文里 PSNR 低于 15dB 基本是用错了指标 — kwangmoo_yi · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27