词汇表税:裁剪 89.7% 无用词表让 LLM 更易端侧部署
kalyan_kpl · x · 2026-11-19
论文《The Vocabulary Tax: Safely Trimming Unused Tokens from LLMs for On-Device Use》提出一种降低 LLM 内存占用的方法:在保持分词器正确性的前提下删除未使用的词表条目。
- 问题:多语言 LLM 词表可达 262K tokens,其嵌入表、输出头及逐层嵌入即便对应 token 从未被用到也会消耗内存。
- 两种裁剪策略:
- 基于文字系统(script-based):保留目标语言书写系统的 token,分词结果完全不变;
- 基于语料(corpus-based):仅保留部署文本中实际出现的 token,内存削减幅度更大,但可能改变分词结果。
- 实验结果:在 6 个模型(270M–3B 参数)、11 种语言上,中位数可移除 89.7% 的词表。
「Infra」频道最新
- 三星驳AI泡沫论:NeoCloud仅占市场8%,芯片短缺仍将持续 — BenBajarin · 2026-11-19
- BIS 新规下三星停接中国 AI 芯片代工,寒武纪先进制程渠道受阻 — teortaxesTex · 2026-11-19
- Musk 谈 StarMind 轨道 AI 卫星:比 Starlink V3「容易得多」 — elonmusk · 2026-11-19
- 台积电被传限制 12nm 以下流片,评论称对华算力是渐进式禁运 — teortaxesTex · 2026-11-19
- ai& 与 NEC 合作,在日本本土数据中心提供主权 AI 推理服务 — DavidBennett__ · 2026-11-19
- Standard Kernel 用 AI 写软件,让被弃的 Intel Gaudi 性能反超 H100 — anneouyang · 2026-11-19