把GLM 5.2跑进低配电脑
vforno · hn · 2026-07-09
作者分享了自己把 **GLM 5.2** 跑在低配电脑上的过程，并把项目命名为 **Colibrì**。他最初是出于好奇，想看看这个模型能否在普通电脑上不爆内存地运行，后来在 agents 帮助下持续做工程化尝试。 关键做法包括： - 将模型转成 **int4**，研究 MTP 的使用方式，并尝试做长上下文的 DSA - 利用模型的 **MoE** 特性：密集部分常驻内存，路由专家按需从磁盘流式加载 - 引入 **每层 LRU 缓存**、可选 hot-store，以及依赖 OS page cache 充当“免费的二级缓存” 作者称，最终在一台 **32GB RAM** 的机器上实现了与模型交互，虽然冷启动速度很慢，约 **0.1 tok/s**，但目标是“能跑起来”。项目本体是一个约 **1300 行 C 代码** 的单文件引擎，不依赖 BLAS、Python 或 GPU。