纯 C 引擎 colibri 走红：从磁盘流式加载专家，本地跑前沿 MoE

JustVugg · github · 2026-09-10

GitHub 热门项目 colibri（27285 星）：一个纯 C、零依赖的微型推理引擎，让你在已有硬件上运行前沿 MoE（混合专家）大模型。

核心思路是「Tiny engine, immense model」——模型的专家权重不从内存常驻，而是从磁盘按需流式加载，从而绕开显存/内存容量的限制。项目以极简实现换取对消费级设备的友好性，是本地部署大模型路线的又一代表。

原文链接 →

「Infra」频道最新

• 128GB 显存怎么跑?玩家在 Qwen、GLM、DeepSeek 量化版之间纠结 — Madigan37 · 2026-09-10
• ONcompute 上线：按小时租专用 GPU 跑任意模型，明码标价 — w1kke · 2026-09-10
• 英伟达与 Palantir 扩大合作:主权 AI 平台 + Nemotron 模型先用于自家供应链 — amitisinvesting · 2026-09-10
• DeepSeek 发布 V4.1-Flash：KV 缓存内存降至前代四分之一 — The Decoder · 2026-09-10
• MiniMax H3 生态日报：新量化、像素画指南与 LoRA 训练器齐更新 — optimisticalish · 2026-09-10
• Nvidia 携手 Palantir 用 AI 管理供应链，先管自家百万零件 — The Decoder · 2026-09-10

更多「Infra」频道 AI 资讯 →