744B大模型可在25GB内存运行
techNmak · x · 2026-07-11
这条帖子介绍了一个把 744B 参数模型跑在 25GB RAM 上的推理方案，且 不需要 GPU。关键不是把整个模型塞进内存，而是让大部分权重根本不常驻 RAM。
核心思路
- GLM-5.2 是 MoE 模型：总参数 744B，但每个 token 只激活约 40B。
- Colibrì 把推理当成内存层级问题：
- 常用权重留在 RAM
- 21,504 个路由专家放在 NVMe
- 路由器按需选专家并从磁盘流式加载
- 热门专家会被缓存到闲置 RAM
- 整个 int4 模型在磁盘上约占 370GB，但常驻内存约 9.9GB，聊天时峰值 RAM 约 20GB。
现实限制
- 在原始 25GB 机器上，生成速度只有约 0.05–0.1 tokens/s，因为单个 token 可能需要约 11GB 的磁盘读取。
- 这不是快到可用于生产的推理，而是证明：对稀疏模型来说，模型体积和常驻内存不必再一一对应。
- 运行时还会记录提示词激活了哪些专家，并自动把最常用专家固定在额外 RAM 中，因此重复使用可能更快。
仍未解决的问题
- 项目尚未完成完整 benchmark，因此 int4 量化对模型质量的影响 还不明确。
- 项目是 纯 C 实现、无运行时依赖，并且是一个人用 12 核笔记本完成的。
所属事件:744B GLM-5.2模型可在25GB内存本地运行(5 条相关)→
「Infra」频道最新
- Anthropic S-1 曝超 8000 亿美元未入表的未来算力承诺 — GaryMarcus · 2026-10-27
- Anthropic 约 11GW 算力合同中 NVIDIA GPU 占约 42% — ns123abc · 2026-10-27
- EdgeRock-4B KV cache 256K 上下文仅 72 MiB,比 Qwen3.5-4B 小 99.1% — alifcoder · 2026-10-27
- RTX 5080 十天涨价 40%:1658 美元飙至 2318 美元 — Frizzy-MacDrizzle · 2026-10-27
- 12GB 显存实测:不设 VRAM 上限,出图从 24 秒变 11 分钟 — Impossible-Mail-4619 · 2026-10-27
- Neon 自吃狗粮：文档搜索全部改用自家 Lakebase Search 等 AI 组件 — matei_zaharia · 2026-10-27