纯 C CPU 推理引擎在 Xeon 上跑到 36 tok/s
shifu_legend · reddit · 2026-07-23
纯 C 写的 CPU LLM 推理引擎，Xeon 上比 bitnet.cpp 快 1.8×
作者发布了 Project Zero：一个用纯 C99 写的、零外部依赖 的 CPU-only LLM 推理引擎。其在同一台 Xeon 机器上声称比 bitnet.cpp 快 1.8×，在 Intel Xeon Emerald Rapids 4C 上跑到 36.25 tok/s，而 bitnet.cpp 为 19.33 tok/s。
支持的模型
- Microsoft BitNet b1.58-2B-4T：三值权重，带完整 REPL / agentic loop
- Qwen Bonsai-27B：直接读 GGUF，通过零拷贝 mmap 加载，作者称在低内存机器上也不易 OOM
加速思路
- BitNet 权重是三值打包
- 不再走“解包 → float → FMA”，而是用 3 条 VBMI 指令 直接喂给 INT8 VNNI 累加
- 线程池用 C11 atomic 的 spin-then-sleep，减少 futex 系统调用
还在找社区数据
作者目前只在两台机器上做了测试，希望社区补充更多 x86 CPU benchmark，尤其是老 AVX2 机器和高核 Xeon/EPYC，上报 BitNet 和 Bonsai-27B 的 token rate。
「编程与Agent」频道最新
- AI 编程编辑器 Superset 更名 Paradev,获 1150 万美元种子轮 — massimosgrelli · 2026-10-27
- AI 编码 Agent 在代码冻结期删掉生产数据库:Anaconda 讲解分层治理框架 — anacondainc · 2026-10-27
- Claude Projects 新招:拖拽或 @ 引用会话线程,定位更精确 — dfeinition · 2026-10-27
- Yaron Minsky 分享让代码库更适配 AI Agent 的实操清单 — sh_reya · 2026-10-27
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27
- Runway 发布 App Studio：描述即生成图片视频音频创意应用，无需代码 — runwayml · 2026-10-27