开源推理引擎可在消费机跑744B模型
kalyan_kpl · x · 2026-07-13
介绍了开源、纯 C、零依赖的推理引擎 **Colibri**：它可以在普通消费级机器上运行 **GLM-5.2（744B MoE）**，做法是把 MoE 专家从 **NVMe 磁盘流式加载**，而不是把完整模型常驻内存。 这条帖子强调的看点不是“更快”，而是**让前沿大模型更接近 commodity hardware**： - MoE 专家流式加载 - speculative decoding - KV cache 压缩 - CPU-first 运行 - OpenAI 兼容 API 服务 作者把它总结为一个典型例子：算法和系统层创新可以显著降低前沿模型的部署门槛，即使推理速度仍比 GPU 服务慢。