硬核折腾：尝试从Kimi K3大模型中提取MoE专家

StableDiffer · reddit · 2026-07-30

有开发者尝试使用REAP（基于路由的专家移除）方法，从Kimi K3（或GLM 5.2）等混合专家模型中提取单独的专家网络。

作者表示，受限于硬件条件，目前只能勉强运行K3的一个专家模型。他好奇这些被提取出的专家是否能在特定任务上表现出通用性。虽然将模型压缩至104B参数级别很有趣，但他也坦言，这种粗暴提取的模型最终效果大概率会很差。