开发者把 Qwen3-0.6B 改造成 MoE：质量下降，0.6B 级别提速有限
Bayliner1980 · reddit · 2026-10-23
Reddit 用户 bayliner1980 延续其「MoE 化」项目，这次将 Qwen3-0.6B 稀疏化为 MoE 模型（激活参数约 0.5B），并发布了 HF 权重和 GGUF 版本。
技术要点：Qwen3 架构没有共享专家，导致转换后质量明显下滑，他设计了「伪共享专家」（路由器始终选中的专家）来挽回部分质量；为保证 GGUF 兼容牺牲了一些改进空间。评测显示转换后 Wiki ppl 从 23.88 升至 26.98，各项任务成绩均低于原版；速度上 GPU 生成反而略慢（377→352 t/s），CPU 生成小幅提升（115→124 t/s）——0.6B 级别几乎无收益，只有更大的 1.5B 转换才真正提速。
局限也很坦诚：事实性错误（称达芬奇 1519 年画蒙娜丽莎，那是他去世年份）、代码能力损坏、须用非思考模式。他还在征求对「复制神经元造新专家配对」实验的意见——早期效果显著但参数翻倍，可能违背转换初衷。
「模型」频道最新
- 开源社区反击「去审查模型制造漏洞论」：防御性审计发现漏洞不背锅 — max_paperclips · 2026-10-23
- Fable 用量限制并未取消,只是移动端 App 更新了用量重置显示 — imjustnewatai · 2026-10-23
- Claude 全代码生成 11 分钟末日短片:AI 不反抗,只是等待 — ZeroStateReflex · 2026-10-23
- Gemini 竟读不到自己的 Personal Instructions,用户反复开关设置无效 — Connect_Reporter_799 · 2026-10-23
- 扩散语言模型的偏见排名随采样配置改变,去偏后仍不稳定 — Bollegala · 2026-10-23
- 月付 20 美元同时跑 100 个 DeepSeek v4.1 flash agent — zack_overflow · 2026-10-23