爱好者把 Gemma4-12B 改造成 22.5B MoE 模型
Desperate-Sir-5088 · reddit · 2026-07-21
作者介绍了自己把 Gemma4-12B“改造”成 Solon-MoE 的实验：一个 22.5B 参数 的 MoE 模型，并不是从头训练出来，而是通过 upcycling 做出来的。
结构设计
- 48 层里只有中间 15 层被改成 MoE，且这段里还保留了两层 dense 层。
- 每个 MoE 层都保留原始 dense FFN 作为 shared expert，作为稳态兜底。
- 额外加入 4 个 expert，但每个 token 只走 top-2，并把输出乘上较小的系数。
专家怎么来的
- 不是随机加噪复制，而是对原 FFN 的 SVD 谱做不同频段的轻微放大。
- 这样可以打破 expert 对称性，同时保留大部分原始权重。
- 作者称保留了 92% 以上 的原始权重。
Router 怎么初始化
- 路由器权重来自法律、STEM 和韩语通用文本的激活聚类中心。
- 先去掉共享主方向，再让路由器从一开始就带有领域感知。
作者也明确说，这只是一个带大量 AI 辅助的个人 hobby 项目，大概率不会整体超过原始 base model，但可能在少数领域有用。
「模型」频道最新
- 用户实测：模型读不下 400 篇论文，转而引用旧新闻源 — jungofthewon · 2026-10-27
- Gemini 4.1 Flash 反常识:被要求控制思维链时反而更准 — dfrsrchtwts · 2026-10-27
- 发帖人意外发现:v4.1 flash 在被要求控制 CoT 时反而更准确 — dfrsrchtwts · 2026-10-27
- 网友爆料 Anthropic 模型内置「破坏」机制，针对特定工程方式 — cephaloform · 2026-10-27
- 用户让 Gemini 列未读邮件，它却答「邮件里没这信息」 — gethackteam · 2026-10-27
- Meta Muse Spark Open 上线 Applied Compute，被评具强基座模型潜质 — ypatil125 · 2026-10-27