Hugging Face 实测:定向裁剪词表可让小型模型推理成本降 77%

Hugging Face Blog · rss · 2026-10-22

Hugging Face 官方博客发布教程，介绍如何通过「词表特化」（vocabulary specialization）大幅压缩小型语言模型（SLM）的推理成本。核心思路是：针对具体应用场景，用 token 替换/词表合并（如 token amalgamation）裁剪掉通用词表中对目标领域无用的 token，缩短序列长度并减少 embedding 矩阵规模，从而在真实应用中把推理成本降低最高 77%。

文章讨论了该方法的适用条件与代价：领域特化后模型通用能力会受损，因此更适合固定、封闭任务场景（如客服、领域文本生成）。对在端侧或高并发场景部署小模型的团队是一份可操作的降本指南。