Translated 开源 Lara Mini Base:0.6B 激活参数横扫 45 种语言
NielsRogge · x · 2026-11-16
翻译公司 Translated 发布开源小模型 Lara Mini Base,主打「语言多样性是资源而非负担」。论文指出,现有开源模型的预训练数据中非英语占比最多仅 12%,而欧洲语言专用模型成绩又远低于同规模通用模型。
关键信息:
- MoE 架构,总参数 7.2B、激活参数仅 0.6B,从零在 6T token 上训练,覆盖英语及另外 44 种语言(含全部 24 种欧盟官方语言)
- 在激活参数 ≤2B 的开源基座模型中取得最高平均分(英文、多语言、数学、代码基准),超过训练 token 量 4-6 倍的模型;多语言与数学基准优势最大
- 支持 128k 上下文;单 GPU 单用户无量化推理速度比所有更高分的模型至少快 1.8 倍
- 权重以 CC BY-NC-SA 4.0 许可发布;团队还将发布把 HellaSwag 翻译成 110 种语言变体的 T-HellaSwag 基准
论文还发现 MoE 架构能降低语言间的容量竞争——小模型里多语言训练不一定互相稀释,反而可以互相助益。
「模型」频道最新
- Qwen4-Max 正式发布,博主实测空间理解与省 token 表现 — karminski3 · 2026-11-16
- 微调 68M 小模型超越 Claude Opus 5:CPU 上 12 毫秒零成本 — sudalairajkumar · 2026-11-16
- 谷歌发布 Gemini 4 Hydrogen:默认设置下比 3.8 Flash 快 2.5 倍 — krishnan · 2026-11-16
- 博主吐槽 AI 写的行业博客:把常规训练方法包装成「laddering」新发明 — code_star · 2026-11-16
- 「间隙中的对齐」:新模型评测分数更高不等于真的更对齐 — gleech · 2026-11-16
- 「它知道 Google 在看着」:模型对话引出 J-Lens 评估觉知研究 — repligate · 2026-11-16