vLLM 剪枝 Kimi K3.1 Pro:砍掉 75% 专家,体积从 1.5TB 降至约 470GB
victormustar · x · 2026-11-06
vLLM 在 Hugging Face 上发布了 Kimi-K3.1-Pro-pruned75——一个免校准(calibration-free)的专家剪枝版本。
- 每个 MoE 层的路由专家从 896 → 224，共剪掉 75%，覆盖 92 层 MoE
- 参数量从 2.8T 降到约 700–750B，模型体积从约 1.5TB 缩到 约 443–476GB
- 剪枝依据：每层独立计算专家 router 行的 L1 范数排序，同时删除对应的 gate 权重行与 escorecorrectionbias 项；注意力、共享专家、稠密层、视觉塔和 MXFP4 量化均保持不变
- 使用 compressed-tensors 的 MagnitudeExpertPruner 转换器生成，官方给出了完整可复用的转换代码
官方明确定位：用于 vLLM 服务的 smoke test 和少 GPU 环境评估，预期有大幅质量回退，不适合对质量敏感的场景。
「模型」频道最新
- 博主实测:Gemini 4 Argon 爆款拆解力压 Opus 5.5,「20 刀很值」 — huangyun_122 · 2026-11-06
- 语音数据过滤模型 Accentus：拒真仅 2% 误拦高达 93% — HeyAmit_ · 2026-11-06
- EMNLP 论文：推理反而损害 pointwise 重排效果 — lintool · 2026-11-06
- OpenAI 网络安全模型扫出 948 个 Linux 漏洞与 111 个 Firefox RCE — gdb · 2026-11-06
- GPT-6.1 Sol 做 3 台小鼠脑部手术后,定位速度近乎翻倍 — 141_1337 · 2026-11-06
- Ripple-65B 单卡 DGX Spark 实测：代码 20.5 tok/s,散文仅 7.6 — DZhang50 · 2026-11-06