微软开源 BitNet:1.58-bit 三值权重让 100B 模型跑在单颗 CPU 上
JafarNajafov · x · 2026-10-10
微软研究院开源的 BitNet 推理框架用 1.58-bit 三值权重(-1/0/+1)替代传统 16/32-bit 浮点,让纯整数运算跑大模型推理:
- 100B 参数模型单 CPU 可达 5-7 tokens/秒,无需 GPU 或云端
- x86 上比 llama.cpp 快 2.37-6.17 倍,能耗低 82%;ARM 上提速 1.37-5.07 倍
- 内存占用比全精度模型降低 16-32 倍
旗舰模型 BitNet b1.58 2B4T 用 4 万亿 token 训练,基准成绩与同规模全精度模型相当,说明量化未显著损失质量。项目 MIT 协议 100% 开源,支持 ARM/x86,意味着完全离线推理、边缘设备部署和零 API 费用的可能。
所属事件:微软开源 BitNet:三值权重让 100B 模型单 CPU 推理(2 条相关)→
「Infra」频道最新
- 月账单 1.14 万美元查不清去向：一个团队的 LLM 成本失控复盘 — vigilAPI · 2026-10-10
- 无人接盘：50 亿美元估值的 AI 数据中心公司撤回上市 — YvesMulkers · 2026-10-10
- MIT 物理学家 Lloyd 1999 年论文算清计算的物理极限 — burny_tech · 2026-10-10
- vLLM 语义路由新招：小模型先行，省 54% 成本还提准 16 分 — vllm_project · 2026-10-10
- 曝 NVIDIA 停产 RTX 5090，GB202 芯片将专供 RTX PRO 系列 — chemist_slime · 2026-10-10
- 放弃专用服务器：为什么用笔记本采集传感器流数据更靠谱 — IgorBrigadir · 2026-10-10