纯 C CPU 推理引擎在 Xeon 上跑到 36 tok/s
shifu_legend · reddit · 2026-07-23
纯 C 写的 CPU LLM 推理引擎，Xeon 上比 bitnet.cpp 快 1.8×
作者发布了 Project Zero：一个用纯 C99 写的、零外部依赖 的 CPU-only LLM 推理引擎。其在同一台 Xeon 机器上声称比 bitnet.cpp 快 1.8×，在 Intel Xeon Emerald Rapids 4C 上跑到 36.25 tok/s，而 bitnet.cpp 为 19.33 tok/s。
支持的模型
- Microsoft BitNet b1.58-2B-4T：三值权重，带完整 REPL / agentic loop
- Qwen Bonsai-27B：直接读 GGUF，通过零拷贝 mmap 加载，作者称在低内存机器上也不易 OOM
加速思路
- BitNet 权重是三值打包
- 不再走“解包 → float → FMA”，而是用 3 条 VBMI 指令 直接喂给 INT8 VNNI 累加
- 线程池用 C11 atomic 的 spin-then-sleep，减少 futex 系统调用
还在找社区数据
作者目前只在两台机器上做了测试，希望社区补充更多 x86 CPU benchmark，尤其是老 AVX2 机器和高核 Xeon/EPYC，上报 BitNet 和 Bonsai-27B 的 token rate。
「编程与Agent」频道最新
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27
- 用 Tailscale 让云端 Grok Bot 在自己 Mac mini 上写代码，全程不开公网端口 — talkaboutdesign · 2026-10-27
- 工程师数月实践：Agent 每次调用重发全量上下文，改一个 token 全额付费 — dscape · 2026-10-27
- Alchemy 支持 Effect Workflow:跨 Durable Objects、Workflows 与 Lambda 持久函数 — samgoodwin89 · 2026-10-27
- Alchemy 推出 Lambda Web Functions,Node 版 Web 服务器直接上 Lambda — samgoodwin89 · 2026-10-27
- Alchemy 全部约 2850 个 AWS binding 现已跨云可用 — samgoodwin89 · 2026-10-27