民间高手把 Qwen3.5-2B 稠密模型转成 MoE,附完整评测
Bayliner1980 · reddit · 2026-11-20
独立研究者 bayliner1980 发布了对 Qwen3.5-2B 的 dense→MoE 转换(激活 1.3B),是他迄今最大的转换成果,权重与 GGUF 版均已上架 Hugging Face。
方法论上的关键改进:
- 此前所谓「死专家」其实只是未被激活,加入数学、科学、多语言数据后消失,还顺带修复了部分代码能力问题;
- 转换速度提升;
- 新增事实记忆指标,量化转换后模型遗忘多少事实知识。
实测结果:Wikitext-2 ppl 从 13.60 升至 14.68(+7.9%),C4 ppl +15.0%;任务均分从 0.526 降至 0.487;287 条事实回忆从 0.948 掉到 0.760——作者坦言转换后事实知识损失仍明显,是当前主要攻关方向。
「模型」频道最新
- 「性格 1:1」:Gemini 4 谱系爆料推文的补充 — wavefnx · 2026-11-20
- 爆料称 Gemini 4 系列:neon 复用氢基底以更低成本胜过 carbon — haider1 · 2026-11-20
- 用户呼吁 Pro 与 Max 档之间增设约 50 美元中间订阅档 — jikesar968 · 2026-11-20
- Claude 全系限时 82% 折扣:Fable 5.2 输入 $1.43、Opus 5.5 仅 $0.72 — zebird0 · 2026-11-20
- 网友晒图称 MAI Code 2 以 5% 成本达到 Claude Opus 5.5 的 96% 编码性能 — marlene_zw · 2026-11-20
- 团队称用 Codex 两个月搞定 35 个开放 Erdős 问题,含 Lean 验证 — IgorCarron · 2026-11-20