colibrì实测：无GPU跑GLM-5.2
Lopsided_Dot_4557 · reddit · 2026-07-15
作者用纯 C 的 colibrì 引擎做了完整实测，尝试在单机上无 GPU 运行 GLM-5.2 744B MoE。
关键思路
- 744B MoE 每个 token 只激活少量专家。
- 引擎把密集部分（约 10GB）留在内存里。
- 其余专家权重从本地磁盘/NVMe 按需流式读取。
- int4 全量模型约 370GB，但不会全部常驻内存。
「Infra」频道最新
- Engram 随机读取不适合 SSD，CPU 内存低延迟共享或成正解 — bookwormengr · 2026-09-11
- 劝退帖:推理工程是真金白银的硬活,八成尝鲜者已悄然放弃 — abhijithneil · 2026-09-11
- Hugging Face《Ultra Scale Playbook》:GPU 集群训练 LLM 的免费技术书 — mdancho84 · 2026-09-11
- 从聊天到 Agent,推理延迟正在成为生产级瓶颈 — Euphoric_Sea632 · 2026-09-11
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11