民间高手把 Qwen3.5-2B 稠密模型转成 MoE,附完整评测

Bayliner1980 · reddit · 2026-11-20

独立研究者 bayliner1980 发布了对 Qwen3.5-2B 的 dense→MoE 转换(激活 1.3B),是他迄今最大的转换成果,权重与 GGUF 版均已上架 Hugging Face。

方法论上的关键改进:

实测结果:Wikitext-2 ppl 从 13.60 升至 14.68(+7.9%),C4 ppl +15.0%;任务均分从 0.526 降至 0.487;287 条事实回忆从 0.948 掉到 0.760——作者坦言转换后事实知识损失仍明显,是当前主要攻关方向。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →