Aleph Alpha 推出 Kolibri-1:78B 总参仅 3B 激活,可直跑 FP8 权重
QuixiAI · x · 2026-10-05
Aleph Alpha 在 Hugging Face 上发布了新模型 Kolibri-1,并已有人向开源推理引擎 colibri(39.5k star)提 feature request 请求支持。要点:
- 权重采用 FP8(float8e4m3fn)格式,128×128 分块、激活值动态量化,评测用 FP8 KV cache;embeddings、LM head、norms 和 MoE router 保留 bfloat16
- MoE 架构,78B 总参数中仅 3B 激活参数,适合 CPU/GPU/NPU 上的 SSD 流式加载,无需转换权重即可直接运行 HF 权重
对端侧和低成本推理场景值得关注,具体可用性取决于推理引擎跟进支持的速度。
所属事件:德国 Aleph Alpha 开源 Kolibri-1：78B 仅激活 3.46B(14 条相关)→
「Infra」频道最新
- 一致性哈希图解：为何取模分配会在扩缩容时几乎全量重映射 — _jaydeepkarale · 2026-10-06
- CME 推算力期货，BlackRock 称"算力期货是全新资产类别" — Saul_Loveman · 2026-10-06
- 澳洲开源决策模型 Matilda Jev：单卡推理仅 56.8ms，不做文本生成 — Med1_Ai · 2026-10-06
- Nvidia 拟改算力合作模式:租金担保换成云收入分成,涉 360 亿美元 — rohanpaul_ai · 2026-10-06
- N 卡太贵，网友吐槽看英特尔显卡都「眉清目秀」 — lxfater · 2026-10-06
- Agent 工作负载令 KV cache 成存储难题：读写比达 11.7 倍 — AccBalanced · 2026-10-06