BitRun 免编译跑 1-bit 模型，M4 Pro 纯 CPU 达 127 tokens/s
The_VibePreneur · reddit · 2026-10-14
开发者发布 BitRun：一个零编译的 1-bit 三值 LLM 独立运行器，Ollama 式工作流，60 秒即可在普通笔记本 CPU 上跑三值模型。
核心工作：修复微软 bitnet.cpp 研究代码库的多个底层 bug 并提交上游 PR：
- 批量写入覆写：ggml-bitnet-mad.cpp 忽略 batch stride，导致批处理行互相覆盖；
- ARM NEON 死循环：块大小硬编码为 64（GGUF 标准是 128），指针偏移错 50%，输出 @ @ @ 乱码；
- 激活函数不匹配：图初始化用 SiLU，但 2.4B 模型训练用 squared ReLU，导致输出胡言乱语；
- 多轮 BLAS 崩溃与 Windows MSVC 编译被 CMake 人为拦截。
实测纯 CPU 成绩（0% GPU）：M4 Pro 上 Falcon3-1B 达 98–127 tokens/s，BitNet b1.58 2.4B 约 40 tokens/s，BitNet 70M 超 1350 tokens/s；i5-12600K 上 Falcon3-1B 39–45 tokens/s。支持 bitrun serve 提供 OpenAI 兼容 REST 接口（端口 11435）。
作者也说明局限：三值权重需从头 QAT 训练，现有模型都在 3B 以下，不能替代 Claude/GPT-4 做重度编码，但适合低功耗边缘设备和后台自动化场景。
「Infra」频道最新
- 投资人警告：neocloud 扎堆转推理却无差异化，恐难逃整合 — AccBalanced · 2026-10-14
- Lightning AI 将亮相 GTC 柏林，谈创业公司各阶段如何拿到 GPU — LightningAI · 2026-10-14
- Hugging Face 将直播讲解投机解码，如何给本地 LLM 提速数倍 — mervenoyann · 2026-10-14
- 黄仁勋的算盘：扶植 CoreWeave 在大客户与英伟达间筑起缓冲层 — AccBalanced · 2026-10-14
- 64GB 版 Nvidia Spark 欧洲售价 6574 欧元,比官方贵出离谱 — AIFlow_ML · 2026-10-14
- Toby Ord：押注算力与能力的整体关系，而非盯着单一瓶颈 — ben_j_todd · 2026-10-14