Aleph Alpha 开源 Kolibri-1:781 亿参数 MoE 仅 4.4% 激活
lmoroney · x · 2026-10-06
Aleph Alpha 在 Hugging Face 以 Apache 2.0 协议发布英德双语 MoE 模型 Kolibri-1：总参数 78.1B，每 token 仅激活约 3.46B（约 4.4% 权重），支持最高 1M token 上下文（模型卡建议 262K 以内部署），FP8 权重约 78 GB，在德国和芬兰用 768 块 B200 完成预训练，训练数据中超 20% 为德语。
作者还建议教学/开发者用它做 MoE 部署练习：由总参数估算显存需求，由激活参数估算单 token 计算量，再据此选硬件。
所属事件:德国 Aleph Alpha 开源 Kolibri：78B 参数支持百万上下文(3 条相关)→
「模型」频道最新
- Liquid AI 发布 d1 视觉版:决策模型成本仅为大模型 1/19 至 1/200 — JosephJacks_ · 2026-10-06
- 开发者实测 OpenAI Ultrafast：速度快 6 倍烧钱也快，$500 套餐两天撞额度 — holdenmatt · 2026-10-06
- 开源项目 LCU 拆出 Codex Computer Use,任意 Agent 可调用 — xiaohu · 2026-10-06
- 研究者：人类也很难察觉 AI 的细微模式与分布偏差 — alexisjross · 2026-10-06
- 20美元档三家AI订阅横评：OpenAI最慷慨，Google暗降模型 — bytebot · 2026-10-06
- ChatGPT 伪造《纽约客》漫画还盗用真漫画家签名 — luisdans · 2026-10-06