DeepSeek 量化层裁剪实验
mishig25 · x · 2026-07-12
作者在用 DwarfStar 搭配 DeepSeek v4 Flash，测试“最后 15% 层”更好的量化方式对效果的影响。 他给出了三个用于衡量质量的指标： - Avg NLL：衡量模型对参考答案的“惊讶程度”，越低越好。 - First-token matches：模型最可能输出的首 token 与参考答案首 token 一致的比例，越高越好。 - Avg greedy LCP：在第一次分歧前，连续匹配参考答案的 token 数，越高越好。 实验结果上，37-42 层（约 14%）是 antifreeze 默认的 2+4 混合模型；若扩展到 36-42 层（约 16%），会带来一些额外收益，但提升被作者评价为“相对有限”。作者表示会继续研究。