纯 C 推理引擎 Colibri 开源:消费级硬件跑 2.8T 参数 MoE 模型
tom_doerr · x · 2026-10-13
Colibri 是一个纯 C、零依赖的开源推理引擎,核心思路是把磁盘、内存和显存当作单一分层存储,把 MoE 模型的专家权重按需从磁盘流式读取,从而在消费级/异构硬件上运行 744B 到 2.8T 参数的前沿模型。
- 支持 9 个模型家族:GLM-5.2/5.3 (744B)、GLM-5.3-Flash (321B,含视觉)、Inkling (975B)、Kimi K3 (2.8T)、DeepSeek V4 Flash (284B)、DeepSeek V4.1 Flash (552B,含视觉)、Qwen3.8-Flash-Next (125B+51B n-gram)、Qwen3.6、OLMoE (7B),每个模型对应一个 C 文件,统一使用 col chat/serve/web 前端
- 明确承诺「不保证速度、但保证语义」:不会静默更改模型精度或路由语义,实验须通过可复现的端到端测量证明价值
- GitHub 已收获约 41.6k star,Apache-2.0 协议,定位为推理侧系统研究的开放平台
「Infra」频道最新
- ML 权威 Langford 背书 GPU MODE:公开基准竞赛解决 GPU 难题 — JohnCLangford · 2026-10-13
- 哈工深与 NUS 提出 QuantWM：2-bit 量化破解视频世界模型时序闪烁难题 — jiqizhixin · 2026-10-13
- 网友约 6100 美元入手两台 DGX Spark,本地跑 GLM 5.3 — MasterNomie · 2026-10-13
- 实时语音 Agent 模型怎么选:Reddit 汇总专有部署实测,LLM 延迟可从 1 秒降到 0.3 秒 — Natural-Chemical1513 · 2026-10-13
- 预测：Opus 5.5 将能在 24GB 单卡上本地运行 — TheZachMueller · 2026-10-13
- AI agent 该跑在哪:云还是本地是个错误问题,应按组件拆分 — DavidLinthicum · 2026-10-13