单 CPU 跑百亿大模型：微软开源 1.58 bit 推理框架 BitNet
JafarNajafov · x · 2026-08-08
微软开源了名为 BitNet 的推理框架，能够在单个 CPU 上运行 1000 亿参数的大语言模型，无需 GPU 或云端算力。
核心技术
- 采用 1.58 bit 量化，权重仅为 -1、0 或 +1 的三进制，完全依赖 CPU 原生的纯整数运算。
性能表现
- 100B 模型在单 CPU 上可达 5-7 tokens/秒（约人类阅读速度）。
- 在 x86 架构上比 llama.cpp 快 2.37 至 6.17 倍，能耗降低 82%。
- ARM 架构（如 MacBook）速度提升 1.37 至 5.07 倍，内存占用减少 16 至 32 倍。
质量与影响
- 其旗舰模型 b1.58 2B4T 经过 4 万亿 token 训练，精度几乎无损， benchmark 表现与同规模全精度模型相当。
- 支持完全离线运行，适用于手机、IoT 设备及边缘硬件，彻底免除云端 API 费用。项目已获 27.4K Star，采用 MIT 许可证。
所属事件:微软开源BitNet框架：单CPU跑千亿大模型(2 条相关)→
「Infra」频道最新
- MLCommons 推出 MLPerf Endpoints,按真实服务端点测推理性能 — TheKanter · 2026-10-16
- Neocloud 并购潮解析：CoreWeave、Nebius 等押注 GPU 稀缺之外的价值 — AccBalanced · 2026-10-16
- AI 驱动的时序感知功耗优化:学习排序+基线保全策略回收布线后功耗 — Amit Sharma · 2026-10-16
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16