7B 总参数仅 1B 激活:Olala mini 混合 Mamba-3 与差分注意力
LucaAmb · x · 2026-11-20
开发者 Alexandre Torres Lotufo 发布了 Olala mini:一个总参数 7B、激活仅 1B 的模型,在 13T tokens 上训练。架构上混合了 Mamba-3(线性状态空间层)与 Grouped Differential Attention,并配合 LatentMoE、Geodesic Norm 等自研组件,探索超越 Transformer 的架构路线。配图给出了完整架构图:4:1 的 Mamba/注意力层比例、152k 词表、SNR=3 的差分注意力配置等细节。
「模型」频道最新
- Codex 用户实测:开启 Daybreak 后网络安全类请求仍被拦截 — AIFlow_ML · 2026-11-20
- theo 重发模型坐标图:跑分只测能力,测不出连贯性 — AccBalanced · 2026-11-20
- 传有人以一成价格高质量服务 DeepSeek v4.1 flash,机制成谜 — _xjdr · 2026-11-20
- 开源决策模型 Laya 两月揽 3.5 万星,33ms 出概率不走 LLM — kingslyj · 2026-11-20
- Google 高管预告:12 月 2 日 Gemini 订阅模式迈出第一步 — teortaxesTex · 2026-11-20
- 博主:Opus 5.5 又一次跃升,中国模型差距卡在数据工程 — teortaxesTex · 2026-11-20