微软开源 bitnet.cpp:单 CPU 跑 100B 参数 1-bit 模型,能耗降 82%
dr_cintas · x · 2026-11-18
微软开源了 1-bit LLM 官方推理框架 bitnet.cpp(GitHub 已获 41.6k star,MIT 协议),宣称可在无 GPU 的单颗 CPU 上运行 100B 参数的 BitNet 模型。
- x86 CPU 上最高提速 6.17 倍,能耗降低最高 82.2%。
- 项目近期还发布了 VibeASR.cpp:基于 BitNet I2S 量化的 CPU 实时多语言语音识别引擎,在 x86(AVX2)和 ARM(NEON)平台少量线程即可达到 RTF < 1。
- 同时推出首批 1-bit embedding 模型 BitNet-embedding-0.6B 和 270M,embedding 质量具竞争力。
「Infra」频道最新
- AMD 苏姿丰谈黄仁勋风波:这些噪音终会随时间平息 — adariostrange · 2026-11-18
- 竞品用 148 国 11214 个轮换 IP 爬取 Pickle Moose,已修补 — AJChadha · 2026-11-18
- AWS CEO 表态:与 Nvidia 合作长期不变,同时自研 Trainium 进展出色 — Kr00ney · 2026-11-18
- 亚马逊 CEO Jassy:必须建数据中心,停建让中国定规则将是历史性错误 — Kr00ney · 2026-11-18
- AMD MI355X 跑 MiniMax M3.1 Flash 性能 20 天内提升 4 倍 — AnushElangovan · 2026-11-18
- 黑石警告 Anthropic IPO 后或获垃圾级评级,牵动 630 亿美元芯片融资 — deliprao · 2026-11-18