纯C99零依赖跑通BitNet：Xeon CPU实现36 tok/s推理
shifu_legend · reddit · 2026-08-09
开发者从零构建了一个纯 C99 的 CPU 推理引擎，无需 Python、CUDA 或 BLAS 即可原生运行 BitNet 1.58-bit 三值模型。
核心技术与性能：
- 在 Intel Xeon 上使用 4 线程跑 BitNet b1.58-2B-4T 达到 36.25 tok/s。
- 利用原生三值 SIMD：权重按每字节 4 个打包，通过自定义 AVX2/AVX-512 和 VNNI 指令直接在整数寄存器中累加，避免了向 float32 解包的开销。
- 极简运行时：线程池使用 C11 原子操作配合自旋退避，几乎零同步开销，最终编译为单一独立二进制文件并提供 OpenAI 兼容 API。
瓶颈与启示：
- 遇到了 DRAM 带宽上限。在 batch size 为 1 时，解码速度受限于内存带宽，当前已达到理论带宽的 95%，单纯优化底层矩阵乘法计算已无法提升端到端延迟。
「Infra」频道最新
- MLCommons 推出 MLPerf Endpoints,按真实服务端点测推理性能 — TheKanter · 2026-10-16
- Neocloud 并购潮解析：CoreWeave、Nebius 等押注 GPU 稀缺之外的价值 — AccBalanced · 2026-10-16
- AI 驱动的时序感知功耗优化:学习排序+基线保全策略回收布线后功耗 — Amit Sharma · 2026-10-16
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16