纯 C 引擎 Colibri：消费级硬件跑 2.8T 参数模型
tom_doerr · x · 2026-08-20
Colibri 是一个用纯 C 编写的零依赖推理引擎，通过将存储、RAM 和 VRAM 视为单一统一内存层级（AI memory multitiering），能够在消费级和异构硬件上运行前沿 MoE 模型。
目前支持运行的模型家族包括 GLM-5.2 (744B)、Inkling (975B)、Kimi K3 (2.8T)、DeepSeek V4 Flash (284B) 和 OLMoE (7B)。该项目通过从磁盘流式传输专家数据，实现了“微型引擎，巨大模型”的目标。
「Infra」频道最新
- 数据中心日耗水 6.27 亿加仑，远低于养牛业与电厂 — rohanpaul_ai · 2026-08-20
- 英伟达发布 CUDA-Q Algorithms，构建容错量子计算原语库 — tomaszbednarz · 2026-08-20
- Dolphin Network 推出 GPU 闲置算力 P2P 推理网络 — toptickcrypto · 2026-08-20
- Epoch 估算：OpenAI 约 1.2%~2.4% 算力用于安全监控 — sjgadler · 2026-08-20
- 观点：Cerebras 极速推理或让 OpenAI 的研发闭环快 20 倍 — Scobleizer · 2026-08-20
- AI 智能体不是微服务，架构需引入持久执行层 — rseroter · 2026-08-20