疑似 400B MoE 新模型架构曝光，激进 GQA 设计引热议
teortaxesTex · x · 2026-08-10
有开发者对疑似名为 Muse Glimmer 30B 的新模型架构进行了分析。推测该模型是一个总参数量约 400B、激活参数约 15B 的混合专家模型。其架构亮点在于采用了 3:1 的局部/全局注意力机制，并搭配了极其激进的分组查询注意力（GQA）。这种极端的设计能正常运行且表现优异，让业界感到非常惊讶。
「模型」频道最新
- Meta 开源模型 Muse Glimmer 权重上线 Hugging Face — jffwng · 2026-08-10
- Meta 发布 Muse Glimmer：支持本地运行的开源 30B 智能体模型 — mchiang0610 · 2026-08-10
- Muse Glimmer 多模态模型支持开箱即用的物体检测 — ariG23498 · 2026-08-10
- Krea 2 架构揭秘：文本编码器和 VAE 均来自 Qwen，Raw 权重达 26GB — dansuy_gaming · 2026-08-10
- Meta 开源 Muse Glimmer 被指系闭源模型蒸馏版 — heypearlai · 2026-08-10
- 澄清Meta模型跑分优势：主要因发布时间晚于竞品 — teortaxesTex · 2026-08-10