曝 Meta 将发 30B 新开源模型，架构融合 Gemma 4 与视觉

ivan_bezdomny · x · 2026-08-10

据爆料，Meta 即将重返开源权重模型领域，首发可能是一个 30B 参数的稠密模型，随后推出 muse spark 1.2。

架构细节显示，新模型使用了 muse spark 的知识蒸馏，整体架构类似 Gemma 4（即 Llama 3 + SWA + 视觉编码器），并引入了 scale-free QK Norm 和输出层的 tanh 软截断。与 Gemma 4 相比，该模型层数减少（52 vs 60），但视觉层大幅增加（50 vs 27），SWA 窗口扩大一倍（2k vs 1k），注意力宽度缩减一半（4k vs 8k）。