BitRun 在纯 CPU 跑 1-bit LLM：8B 模型 2GB 内存、21 t/s

The_VibePreneur · reddit · 2026-10-16

开源项目 BitRun 发布 v0.2.0-beta，主打在普通笔记本 CPU 上运行 1-bit 大模型，新增分屏 TUI「Cockpit」：左侧流式输出 token，右侧实时显示 CPU 功耗（瓦特）、每 token 焦耳、P/E-core 负载和首 token 延迟。

模型侧脱离微软冻结的 submodule，rebase 到新版 llama.cpp，解决了 GGUF Type 42 冲突，让 PrismML 的 8B 三值模型 bonsai-8b 在纯 CPU、约 2GB 内存上运行。

实测数据：

Apple M4 Pro（零 GPU）：bonsai-1.7b 约 73 t/s、功耗 11.7W（0.31 J/token）；Falcon3 1B 同样 73 t/s；8B 模型 21 t/s、同样 11.7W
Core i5-12600K：bonsai-1.7b 85 t/s 约 22W；BitNet 70M 近 600 t/s

支持 bitrun serve 在 8080 端口提供本地 OpenAI 兼容接口，可接 Cursor 或 Open WebUI。代码与预编译二进制已上架 GitHub。

「Infra」频道最新