微软开源 1.58-bit 嵌入模型：CPU 吞吐最高达 FP16 基线 2.28 倍
techNmak · x · 2026-10-30
微软 41K star 的 BitNet 项目将 1.58-bit 三值权重扩展到了文本嵌入模型，发布两款开源模型：BitNet-embedding-270M（640 维）和 BitNet-embedding-0.6B（1024 维），两者均支持最长 32,768 token 的序列，采用三值权重 + 8-bit 激活。
在微软的 CPU 基准测试中，600M 参数版本吞吐最高达到 FP16 基线的 2.28 倍，配合专用推理内核可显著降低权重存储与内存流量，对 RAG 和本地部署很有吸引力。
该项目延续了此前用 4 万亿 token 训练 2B 语言模型的 BitNet 研究，核心思路是让线性层权重只取 -1、0、+1 三个值。
「模型」频道最新
- 低延迟游戏 AI 语音实测拆解：缓存+预生成+MTP，最快 2 秒出声 — karminski3 · 2026-10-30
- 泄露截图显示 OpenAI 内部上线 GPT-6.2 Betelgeuse 检查点 — VraserX · 2026-10-30
- 网传 DeepSeek 网络安全模型跑分:Flash-Cyber ExploitBench 达 96.8 分 — teortaxesTex · 2026-10-30
- Gemini 定时任务连败三天：准时失败、甩锅用户还照扣额度 — Rude-Requirement5642 · 2026-10-30
- 前端代码实锤：DeepSeek 网安模型设审查表单，企业需答出口管制七项检查 — teortaxesTex · 2026-10-30
- Anthropic 推出 Claude 自评估机制，自动标记对话中的潜在滥用 — elonmusk · 2026-10-30