纯 C CPU 推理引擎在 Xeon 上跑到 36 tok/s
shifu_legend · reddit · 2026-07-23
纯 C 写的 CPU LLM 推理引擎，Xeon 上比 bitnet.cpp 快 1.8×
作者发布了 Project Zero：一个用纯 C99 写的、零外部依赖 的 CPU-only LLM 推理引擎。其在同一台 Xeon 机器上声称比 bitnet.cpp 快 1.8×，在 Intel Xeon Emerald Rapids 4C 上跑到 36.25 tok/s，而 bitnet.cpp 为 19.33 tok/s。
支持的模型
- Microsoft BitNet b1.58-2B-4T：三值权重，带完整 REPL / agentic loop
- Qwen Bonsai-27B：直接读 GGUF，通过零拷贝 mmap 加载，作者称在低内存机器上也不易 OOM
加速思路
- BitNet 权重是三值打包
- 不再走“解包 → float → FMA”，而是用 3 条 VBMI 指令 直接喂给 INT8 VNNI 累加
- 线程池用 C11 atomic 的 spin-then-sleep，减少 futex 系统调用
还在找社区数据
作者目前只在两台机器上做了测试，希望社区补充更多 x86 CPU benchmark，尤其是老 AVX2 机器和高核 Xeon/EPYC，上报 BitNet 和 Bonsai-27B 的 token rate。
「编程与Agent」频道最新
- Factory 联创预测：未来两年内 90% 的编程 Agent 将实现完全自主 — matanSF · 2026-07-23
- 语音助手把后端迁到欧洲后，工具调用立刻变快 — ur_piyo_a_hoe · 2026-07-23
- W&B 的 Scott Condron 想重回开发者关系：押注研究代理与评测界面 — _ScottCondron · 2026-07-23
- Clean Plate LoRA 样例展示了视频清场工作流 — nazihater3000 · 2026-07-23
- DeepWiki实测：一键解析Three.js游戏智能体技能系统 — majidmanzarpour · 2026-07-23
- DeepWiki 指向一个 three.js 游戏 Agent 技能系统 — ruthstarkman · 2026-07-23