法国云厂商 OVH 发布首款自研开源 MoE 模型 Olala mini

法国云厂商 OVH 宣布推出其首个自研大语言模型家族 Olala,首发成员 Olala mini 7A1B 采用混合专家架构:总参数 7B,每层 256 个专家仅激活约 1B,注意力机制结合 Differential-TPA 等混合设计。模型为开源小模型,8GB 显存的消费级显卡即可运行,推理速度可达约 160 tok/s,兼顾了低资源部署与较高性能表现。

2026-11-17 ~ 2026-11-17 · 2 条相关