疑似 400B MoE 新模型架构曝光，激进 GQA 设计引热议
teortaxesTex · x · 2026-08-10
有开发者对疑似名为 Muse Glimmer 30B 的新模型架构进行了分析。推测该模型是一个总参数量约 400B、激活参数约 15B 的混合专家模型。其架构亮点在于采用了 3:1 的局部/全局注意力机制，并搭配了极其激进的分组查询注意力（GQA）。这种极端的设计能正常运行且表现优异，让业界感到非常惊讶。
所属事件:疑似30B至400B参数新模型架构曝光引热议(2 条相关)→
「模型」频道最新
- Artificial Analysis 榜单:GLM 5.3 Flash 得 39 分,以更小体积超越 Mistral 4 Large — airesearch12 · 2026-10-16
- 基于 Qwen3-4B 的开源 ASR 模型 Hojo-ASR 取 3.54 平均 WER — rohanpaul_ai · 2026-10-16
- Google 在 Antigravity 中设 Paid Pro 付费墙，Pixel 与订阅用户不满 — Chance-Okra-5920 · 2026-10-16
- GLM 5.3 Flash 现已在 OpenCode 免费开放 — DanielLockyer · 2026-10-16
- GPT-6 Sol 开药水店零失误，推理摘要却把库存当成自身属性 — liminal_bardo · 2026-10-16
- Codex 用户转投 Claude:称 Opus 5.5 体验领先且 App 优化好 2-3 倍 — ItchyResearcher5671 · 2026-10-16