25GB 内存跑 744B 模型:纯 C 推理框架 Colibrì 揽 32k Star
量子位 · wechat · 2026-09-26
GitHub 热门开源项目 Colibrì 用分层内存调度让消费级电脑跑超大 MoE 模型，纯 C 实现、零引擎依赖，已获 32k Star。
核心思路
- MoE 每 token 只激活少量专家（如 GLM-5.2 总参 744B、激活约 40B），Colibrì 把 Attention/Embedding/共享专家等 Dense 部分（int4 后约 9.9GB）常驻 RAM，1.9 万个路由专家放 NVMe SSD，Router 点名时再按需加载，类比权重的 JIT。
加速手段
- LRU 缓存留住最近使用的专家；统计专家热度提升高频专家缓存优先级。
- 利用相邻层路由相关性（可预测性 71.6%）提前预取下一层专家，计算与 SSD I/O 重叠。
- 支持双 SSD 分摊读取带宽。
实测与配置
- 12 核 CPU + 25GB RAM 冷缓存约 0.05-0.1 token/s；128GB 纯 CPU 约 1.8 token/s；6 张 RTX 5090 可达 5.8-6.8 token/s。
- GLM-5.2 int4 权重约 372GB，最低 16GB RAM 可跑；Kimi K3（2.8T 参数）需约 1.6TB 硬盘、32GB RAM 起步。覆盖 9 个模型家族。
- 提供 Linux/macOS/Windows 预编译版，模型放好后一条 colic chat 即可对话，Web Dashboard 可实时查看专家在各存储层的分布与热度。
「Infra」频道最新
- 百度发布 ERNIE Evolve 自动研究系统,NanoGPT Speedrun 超公开最好成绩 — xiaohu · 2026-11-11
- 百度首次用 RSI 自动优化文心推理,昆仑芯出字速度提升 6.24 倍 — xiaohu · 2026-11-11
- Nvidia 供应承诺单季从 1190 亿飙至 2790 亿美元，锁死 2027-28 显存 — tengyanAI · 2026-11-11
- 独立研究者新优化器：24GB 显存可训 27B 模型，权重仅需 1.6bit — oguzeldereli · 2026-11-11
- 英伟达扩大与 Meta 的 Muse 合作,将向 Meta 投资 30 亿美元 — armand_ruiz · 2026-11-11
- 网友算账质疑 Anthropic:Opus 5.5 十亿美元成本大头不在算力 — teortaxesTex · 2026-11-11