OVHcloud 发布首个开源模型 Olala:Mamba+MoE 混合架构
maximelabonne · x · 2026-11-20
OVHcloud 旗下 OVHai LLM 发布公司首个模型 Olala-v1.0-mini-7A1B,这是一个面向聊天、指令跟随与工具调用的小型推理模型。
- 架构:基于 Mamba-3 / 注意力混合的 MoE 架构,每 token 仅约 1B 激活参数,36 层中只有 7 层保留 KV cache,可在笔记本上运行
- 训练:在欧洲三台超算(JUPITER、Jean Zay、MeluXina)上用 12.8T 公开数据集与自有合成数据训练
- 开源:Apache 2.0 开放权重,家族含 base、SFT、post-trained 及两个特化模型
- 推理:四档推理强度,经强化学习训练多轮工具调用与搜索
作者 Maxime Labonne 还打趣对方似乎「借鉴」了 LiquidAI LFM3 模型卡的排版设计。
所属事件:OVHcloud 发布首个自研开源模型 Olala mini(4 条相关)→
「模型」频道最新
- TBPN 议 Google「不够 AI 味」:卖 TPU 与研究员出走背后的张力 — zacharynado · 2026-11-20
- Gemini 4 Neon 被赞输出「终于像人话」,用户称可读性显著提升 — BenBajarin · 2026-11-20
- Bindu Reddy:Anthropic 与 OpenAI 前沿停滞,Google 已追平 — bindureddy · 2026-11-20
- 爆料账号放话:Google 即将发布的模型「已破解代码」,将全面展示实力 — iruletheworldmo · 2026-11-20
- Anthropic 登顶 Code Arena:WebDev,Claude Fable 5.2 领先 27 分 — arena · 2026-11-20
- Qwen4 Max 登 PostTrainBench 仅得 36.7%,不敌 GLM 5.3 Flash — maksym_andr · 2026-11-20