744B GLM可在25GB内存上跑
rohanpaul_ai · x · 2026-07-10
帖子演示 GLM-5.2 这种 744B MoE 模型可以在 25GB 内存的消费级机器上运行，但速度非常慢。
核心原因是 MoE 只会为每个 token 激活约 40B 参数。作者解释了 Colibrì 如何把密集张量留在内存中，把路由专家放在本地 NVMe 上，并通过 LRU 缓存、页缓存复用和压缩 KV cache 降低内存压力；代价主要是磁盘带宽和缓存命中率决定了延迟。
所属事件:744B GLM-5.2模型可在25GB内存本地运行(5 条相关)→
「Infra」频道最新
- Nebius 获 Citi 35 亿美元融资额度用于 GPU 采购与数据中心 — Beth_Kindig · 2026-10-26
- Claude 近半营收来自云市场渠道，占比三年内从 11% 涨至 47% — BenBajarin · 2026-10-26
- 降价即放量：Anthropic 10 月 token 用量暴涨，年底 ARR 或破 1000 亿美元 — GavinSBaker · 2026-10-26
- Alex Banks：电力是 GPU 上线瓶颈，真正的风险是需求先降温 — thealexbanks · 2026-10-26
- 分析师：蚂蚁是当前工作负载最具弹性可置换的模型厂商 — BenBajarin · 2026-10-26
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26