一人开发 Colibri 推理引擎：25GB 内存笔记本跑 2.8T 参数模型
alex_verem · x · 2026-08-16
开发者 alexverem 介绍了一个名为 Colibri 的开源推理引擎，它能在 12 核、25GB 内存的笔记本上运行高达 2.8 万亿参数的 AI 模型。该项目在 GitHub 上已获 24.8k 星标。
Colibri 利用 MoE 模型的稀疏激活特性（如 GLM-5.2 有 7440 亿参数，但每次只激活约 400 亿），将硬盘、内存和显存统一为分层存储，按需从磁盘流式加载专家模块，并缓存常用部分以加速。引擎为纯 C 实现，无外部依赖，无需 GPU 也能运行。
性能方面：在 6 块 RTX 5090 上可达 5.8 tokens/s（744B 模型），单笔记本 GPU 约 1 token/s，原始 25GB 机器上约 0.1 token/s。
「Infra」频道最新
- Meta 选择 MLX 做本地推理,Muse Spark Open 登陆 Mac Studio — awnihannun · 2026-10-16
- Hugging Face 开源印度语系预训练管线:2.8 万亿 token 数据 — Hugging Face Blog · 2026-10-16
- Artificial Analysis 首测 Vera Rubin NVL72:每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Vera Rubin NVL72 实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- 英伟达 Vera Rubin NVL72 首批实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Turing Post 盘点 2026 年 14 款开源 LLM 可观测性工具 — TheTuringPost · 2026-10-16