在消费级硬件上跑 744B MoE
Prompt Engineering · youtube · 2026-07-20
这是一个演示：Colibri 让 GLM 5.2 在消费级硬件上运行，作者称只需要大约 25GB 内存。
帖子强调了两个关键点：
- 这是一个 744B 参数的 MoE 模型
- 每个 token 实际只激活大约 40B 参数
由于 MoE 每一步只路由一部分专家，作者认为真正随 token 变化的权重只有约 11GB。这条的重点不是“模型发布”，而是说明超大模型通过路由机制和本地部署优化，可以在较普通的硬件上跑起来。
所属事件:开源Colibri让7440亿参数大模型跑在笔记本上(2 条相关)→
「Infra」频道最新
- 推理服务商自造挤利润的市场：出路只有每 GPU 小时榨出更多 token — AccBalanced · 2026-10-27
- EMNLP Oral 论文：免训练 KV 缓存驱逐实现 10 倍内存压缩 — yuz9yuz · 2026-10-27
- 投资机构向小型 neocloud 放短期 GPU 贷款，瞄准低价收抵押卡 — AccBalanced · 2026-10-27
- Anthropic S-1 揭算力困局：多年锁量承诺对撞波动需求与硬件迭代 — AccBalanced · 2026-10-27
- Meta OCP 峰会晒 AI 网络家底:102.4T 液冷交换机、两层的 Flattened Planar Fabric — Meta_Engineers · 2026-10-27
- huggingface_hub 2.3.0 发布：百万文件列取从分钟级降到 20 秒 — lhoestq · 2026-10-27