7B 总参数仅 1B 激活:Olala mini 混合 Mamba-3 与差分注意力

LucaAmb · x · 2026-11-20

开发者 Alexandre Torres Lotufo 发布了 Olala mini:一个总参数 7B、激活仅 1B 的模型,在 13T tokens 上训练。架构上混合了 Mamba-3(线性状态空间层)与 Grouped Differential Attention,并配合 LatentMoE、Geodesic Norm 等自研组件,探索超越 Transformer 的架构路线。配图给出了完整架构图:4:1 的 Mamba/注意力层比例、152k 词表、SNR=3 的差分注意力配置等细节。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →