e-means 替代 k-means:Qwen3.5-4B 量化到 1.23GB 保留 91.9% 性能

kastnerkyle · x · 2026-11-11

开发者 shinboson 在自己的量化编译器中用新算法 e-means 替代 k-means 做码本生成,把 Qwen3.5-4B 从 8.41GB 压到 1.23GB,仍保留原模型 91.9% 的性能,自称约达 SOTA、可与 bonsai 2 比肩。e-means 由 swannbessa 提出,号称以 10 倍更少的 epoch 击败 k-means,已合并进 FAISS,除 k 外无需调超参。作者称此体积下解码速度瓶颈不再是内存带宽,正探索消费级硬件上更大模型的极限速度,并寻求 GPU 算力捐赠(纯属业余项目)。