为什么没有面向 256GB 内存的高精度编码剪枝版 DeepSeek 和 GLM？

evrenozkan · reddit · 2026-11-06

一位拥有 256GB M5 Ultra 的 Reddit 用户发问：为什么社区不给大模型做「剪掉编码无关专家 + 保留 Q4 以上精度」的版本？

他的实验发现：专家剪枝的 Qwen Flash Next Coder 在测试中反而优于同尺寸的全量模型量化版。已有 ISTA 发布过低精度剪枝版 DeepSeek Coder，也有 GLM Flash Coder 变体，但针对 192–256GB 内存的 Q4+ 编码特化剪枝版仍是空白。他估算剪枝/校准用租用算力只需几百到几千美元，不解为何 Unsloth、ISTA 等团队不更多尝试，想知道是否存在技术或质量上的隐忧。