开源引擎 Banach：64GB 桌面有望跑 1 万亿参数 Kimi K2
gautamrbharadwaj · reddit · 2026-11-05
开发者发布开源推理引擎 Banach，目标是在普通桌面跑超出内存的大模型。Kimi K2 有 1 万亿参数但每词仅激活约 320 亿，Banach 把活跃 expert 保留在 RAM、其余从 NVMe 流式读取。
- 实测：22GB 模型跑在 16GB RAM 上，llama.cpp 内存耗尽，Banach 的 prompt 处理快 2.2 倍且输出逐字节一致
- 估算：64GB 内存 + RTX 5080 的桌面跑 Kimi K2（382GB 权重）约 3.6 tok/s，作者强调这是估算而非实测，且该估算此前曾保守 2.5 倍
- 开源可装：pip install banach，仓库 github.com/gautam1858/banach
「Infra」频道最新
- imec 球透镜方案实现光子芯片板级耦合，关键链路损耗仅 3.4dB — jwt0625 · 2026-11-05
- 谷歌论文详解太空数据中心:81 星编队让 TPU 在轨推理 — sebkrier · 2026-11-05
- e/acc 领袖 Beff Jezos 宣布 all in 太空级热力学芯片 — beffjezos · 2026-11-05
- 投资人 citrini：AI 供应链躺赢时代结束，光站在链上不再翻倍 — citrini · 2026-11-05
- 把算力建到太空逃避监管？业内：完全不正经的想法 — zacharynado · 2026-11-05
- Verda 推理服务上线预览，首日即接入 Kimi K3.1 Pro — Kimi_Moonshot · 2026-11-05