Aleph Alpha 开源 Kolibri-1：78B MoE、百万上下文、德英双语
jacek2023 · reddit · 2026-10-17
llama.cpp 合入了 Aleph Alpha 的 Kolibri-1 支持（PR #30673）。这是一款主打德英双语的 MoE 推理模型，采用 Apache 2.0 许可开源，核心参数：
- 架构与规模：总参数 78B，每 token 激活 3.46B；50 层 transformer，每层 384 专家（1 共享 + 6 路由），4:1 SWA:GQA 注意力，用 Muon 与 Exact Quantile Balancing 训练。
- 上下文：最长 1,048,576 tokens，官方建议服务端复杂任务 ≤262,144。
- 训练成本：预训练用 768 块 NVIDIA B200 跑 21 天（约 39.2 万 GPU 时），加 mid-training 9 万与长上下文扩展 1 万 GPU 时，总 FLOPS 6.4e23；训练语料 20T tokens（62.5% 英、23.9% 德、13.6% 代码）。
- 能力：显式推理模式、工具调用、面向多步推理/RAG/agentic 编码；FP8 权重内存约 78GB，最低 2×A100 80GB 或 1×H200/B200 可跑。
- Aleph Alpha 是欧盟 GPAI 行为准则签署方，主打「主权」开放权重模型定位。
「模型」频道最新
- 用户吐槽 Grok Bot 长上下文管理差,只能反复重建机器人 — alexcovo_eth · 2026-10-17
- DeepSeek 4.1 Flash 一步生成风中草地场景，连音效都自带 — zizhpan · 2026-10-17
- Mistral 209M 小模型 Timestral 登顶 GIFT-Eval 时序预测 SOTA — NielsRogge · 2026-10-17
- Muse 系列模型跑分:订阅版 56 分,API 版 52 分、4/20 美元每百万 token — dl_weekly · 2026-10-17
- Kimi K2.5+ 被指可对标 GLM 5,或借 MLA+DSA 降推理成本 — teortaxesTex · 2026-10-17
- Qwen Flash 量化等级实测:低量化更慢,温度 0 更稳 — Dreeew84 · 2026-10-17