剪掉 85% 权重：Gemma 4 26B MoE 仍保持 92% 任务一致率

Accomplished_Ad_56 · reddit · 2026-11-04

一位开发者分享了他为端侧常驻 LLM 应用对 Gemma 4 26B-A4B（MoE 模型）做极限裁剪的实践：

做法：每层只保留 8 个专家，剪掉 85% 权重，模型从 MoE 变成稠密的 3.81B 参数模型（Q4KM 量化仅 2.75 GB）。
效果：在单一分类任务上与原 26B 模型判断一致率达 91.7%，甚至高于 Gemma 4 12B 的 90%；Mac 上速度 79 tokens/s（约为 12B 的两倍），内存 3.8 GB（约为 12B 的一半）。
局限：知识类任务受损严重，因为知识随剪枝丢失，只适合窄任务。
训练方法：使用自建数据做 block-local training，训练目标是"保持同样的思考过程"而非同样答案；方法足够高效，理论上可在用户设备上用约 5 GB 内存针对用户数据再训练，以缓解部署数据与训练数据分布不一致的问题（尚未实测）。

作者附上了详细博客文章，并征集专家选择的更优方法建议。

「Infra」频道最新