OVH 首个自研 LLM 亮相:Olala mini 7B 激活 1B,8GB 显存可跑

jedisct1 · x · 2026-11-17

法国云厂商 OVH 发布其首个 LLM 家族 Olala,首个成员 Olala mini 7A1B 采用全新架构:总参数 7B、每层 256 专家仅激活约 1B,注意力用 Differential-TPA 与 Mamba-3 混合方案,BF16 格式。

由于每次请求只激活模型一小部分,它对硬件要求极低:8GB 显存的 GPU 即可运行,在 RTX A4500 上达 160 tokens/s,纯 CPU 也能跑到 50 tokens/s,上下文窗口目前为 32K tokens。配置图还披露训练成本较 2023 年降低约 20 倍、欧洲搜索引擎 Qwart 已采用等说法。模型将以开源形式(Apache 系许可)上线 Hugging Face。

所属事件:法国云厂商 OVH 发布首款自研开源 MoE 模型 Olala mini(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →