曝 Meta 将发 30B 新开源模型，架构融合 Gemma 4 与视觉
ivan_bezdomny · x · 2026-08-10
据爆料，Meta 即将重返开源权重模型领域，首发可能是一个 30B 参数的稠密模型，随后推出 muse spark 1.2。
架构细节显示，新模型使用了 muse spark 的知识蒸馏，整体架构类似 Gemma 4（即 Llama 3 + SWA + 视觉编码器），并引入了 scale-free QK Norm 和输出层的 tanh 软截断。与 Gemma 4 相比，该模型层数减少（52 vs 60），但视觉层大幅增加（50 vs 27），SWA 窗口扩大一倍（2k vs 1k），注意力宽度缩减一半（4k vs 8k）。
所属事件:Meta将开源30B模型Muse Glimmer，跑分登顶开源榜(6 条相关)→
「模型」频道最新
- Artificial Analysis 榜单:GLM 5.3 Flash 得 39 分,以更小体积超越 Mistral 4 Large — airesearch12 · 2026-10-16
- 基于 Qwen3-4B 的开源 ASR 模型 Hojo-ASR 取 3.54 平均 WER — rohanpaul_ai · 2026-10-16
- Google 在 Antigravity 中设 Paid Pro 付费墙，Pixel 与订阅用户不满 — Chance-Okra-5920 · 2026-10-16
- GLM 5.3 Flash 现已在 OpenCode 免费开放 — DanielLockyer · 2026-10-16
- GPT-6 Sol 开药水店零失误，推理摘要却把库存当成自身属性 — liminal_bardo · 2026-10-16
- Codex 用户转投 Claude:称 Opus 5.5 体验领先且 App 优化好 2-3 倍 — ItchyResearcher5671 · 2026-10-16