colibrì实测：无GPU跑GLM-5.2
Lopsided_Dot_4557 · reddit · 2026-07-15
作者用纯 C 的 **colibrì** 引擎做了完整实测，尝试在单机上无 GPU 运行 **GLM-5.2 744B MoE**。 ### 关键思路 - 744B MoE 每个 token 只激活少量专家。 - 引擎把**密集部分**（约 10GB）留在内存里。 - 其余**专家权重**从本地磁盘/NVMe 按需流式读取。 - int4 全量模型约 **370GB**，但不会全部常驻内存。