在消费级硬件上跑 744B MoE
Prompt Engineering · youtube · 2026-07-20
这是一个演示：**Colibri** 让 **GLM 5.2** 在消费级硬件上运行，作者称只需要大约 **25GB 内存**。 帖子强调了两个关键点： - 这是一个 **744B 参数的 MoE 模型** - 每个 token 实际只激活大约 **40B 参数** 由于 MoE 每一步只路由一部分专家，作者认为真正随 token 变化的权重只有约 **11GB**。这条的重点不是“模型发布”，而是说明超大模型通过路由机制和本地部署优化，可以在较普通的硬件上跑起来。
所属事件:开源Colibri让7440亿参数大模型跑在笔记本上(2 条相关)→
「Infra」频道最新
- 现货内存价飙升 140%，合约重定价开始滞后 — tengyanAI · 2026-07-21
- 有人把 AI 使用方式指向异步长周期实验而非单买算力 — voooooogel · 2026-07-21
- PrismML Bonsai 27B 量化后仅 3.8GB 可手机运行 — tony10000 · 2026-07-21
- 有人主张给模型独立 micro VM，少用 tool calling — joecole · 2026-07-21
- 把数据集打包成顺序 blob，训练吞吐提升 30% — irinarish · 2026-07-21
- 一个 C++20 CPU 原生 strict-W1 训练 runtime 寻求反馈 — Wonderful-Income7415 · 2026-07-21