Aleph Alpha 开源 Kolibri:78B MoE 仅 3B 激活,支持 1M 上下文
TejasKumar_ · x · 2026-10-04
德国主权 AI 公司 Aleph Alpha 在德国统一日发布开放权重模型 Kolibri:英德双语 Mixture-of-Experts Transformer,总参数 78B、激活仅 3B,上下文长度最高 1M tokens,完整权重已上架 Hugging Face,采用 Apache 2.0 许可。模型面向受监管行业的主权关键任务场景,企业可自托管,硬件门槛为 2 张 80GB A100/H100 或 1 张 H200/B200/B300。
该模型由一套自动化训练管线产出:团队先用 30B 总参/3B 激活、65k 上下文的 Kolibri Origin 验证管线,跑通数据摄取、消融实验、预训练、后训练到评测全流程,可在硬件故障时无人值守稳定训练。评论者还建议搭配 most-embed-de 等轻量德语 embedding(内存占用约为 Kolibri embedding 的 1/35)在本地机器做检索、on-prem 服务器生成答案,搭建客服助手。
所属事件:德国 Aleph Alpha 开源 Kolibri-1：78B 仅激活 3.46B(14 条相关)→
「模型」频道最新
- 微软页面被曝证实 GPT-6 系列采用 Looped Transformer — teortaxesTex · 2026-10-06
- 亚马逊提出ALoDLM：按token难度自适应分配循环深度 — amazon · 2026-10-06
- IFM研究循环语言模型定点特性：KV缓存缩小3倍不掉分 — IFM · 2026-10-06
- 澳洲开源决策模型 Matilda Jev：单卡推理仅 56.8ms，不做文本生成 — Med1_Ai · 2026-10-06
- Codex 罕见吐槽用户幻觉自称记者兼工程师 — MikePFrank · 2026-10-06
- AA 评测:Gemini 4 Argon 瞎猜率仅 15%，为次优模型一半 — zacharynado · 2026-10-06