LFM2.5-8B-A1B 词表翻倍，端侧解码提速最高 3.7 倍
maximelabonne · x · 2026-07-22
一份报告和博客介绍了一个很实用的工程改造：把 LFM2.5-8B-A1B 的 tokenizer 词表从 65K 提升到 128K，专门修复原先把部分语言切得过细的问题。
改造后的效果很直接：
- 泰语 token 数减少 4.0×
- 越南语 token 数减少 2.6×
- 印地语 token 数减少 2.4×
- 这些语言在端侧的逐字符解码速度，估算提升 2.2–3.7×
作者把这篇内容总结成一套“在不重训模型的前提下，原地升级 tokenizer”的做法。
所属事件:Liquid AI将LFM2词表扩容至128K提升多语言效率(3 条相关)→
「Infra」频道最新
- Tabul AI 推出 Metal TreeSHAP，加速 Apple silicon 上的 Shapley 计算 — Scobleizer · 2026-07-22
- DeepSeek-V4-Flash 单卡 B300 批量仅 770 tok/s — Moreh · 2026-07-22
- NVIDIA 开始交付 102.4 Tbps 的 Spectrum-6 交换机 — nvidia · 2026-07-22
- Apple 公布 Private Cloud Compute 的 SOC 3 审计报告 — throwfaraway4 · 2026-07-22
- Reddit：GPU 平台总让你在代码、恢复、计费里选两项 — legendpizzasenpai · 2026-07-22
- 智能体执行环境的安全基石：沙盒化宣言 — spirosoik · 2026-07-22