纯 C 零依赖引擎 COLIBRI：让消费级硬件跑 2.8T 参数 MoE 模型

bibryam · x · 2026-09-22

开源项目 COLIBRI（GitHub 已 36.9k star）把前沿 MoE 模型（744B 到 2.8T 参数）搬到消费级与异构硬件上运行：纯 C 编写、零引擎依赖，将存储、RAM 和 VRAM 视为统一推理层级（AI 内存多层调度），专家权重从磁盘流式读取。已支持 GLM-5.2/5.3 (744B)、Kimi K3 (2.8T)、DeepSeek V4 系列等九个模型家族。

核心思路是把 MoE 权重当 JIT 代码对待：每个 token 先路由专家，再对 batch 去重，VRAM/RAM 命中运行、NVMe 未命中流式读取，I/O 与计算重叠，并随使用热度调整权重放置。作者注明这是实验性项目，尚未生产可用。