实测 BitNet CPU 推理出错:困惑度达参考值 6 倍,一行修复可解
matheus-c-feitosa · reddit · 2026-10-20
开发者 matheus-c-feitosa 发布 lowbit-atlas 报告,以困惑度对比 HF 参考值的方式,在 ARM(Neoverse-N1)与 x86 AVX2 上系统验证了低比特(1-bit/ternary/2-bit)GGUF 模型在 CPU 上的正确性与速度。
关键发现
- BitNet b1.58 2B4T:bitnet.cpp main 分支在 CPU 上输出错误——x86 上文本看似正常但困惑度约为参考值 6 倍(113.3 vs 18.79),ARM 上直接输出乱码。原因是用了 SiLU 而模型实际用 ReLU²(#588)。一行激活函数修复即可纠正,PR #642 已捆绑 x86/ARM 修复;未打补丁时可用 ikllama.cpp 转 iq2bnr4 格式。
- Ternary-Bonsai 1.7B(PrismML):在三个运行时(llama.cpp、Prism fork、ikllama.cpp)上输出均正确。速度差距惊人:x86 提示处理上 ikllama.cpp 加 -rtr 达 71.4 t/s,Prism 为 27.8,而无 SIMD 内核的 Q20g64 只有 2.1——同一模型不同文件×运行时可差 34 倍。-rtr 默认关闭,不开反而常常最慢。
- 模型卡上标注 recommended 的 Q20 文件在三个运行时都加载失败,建议改用 PQ20 或 Q20g64。
所有数据附 commit、文件 sha256 与复现脚本,并提供可在免费 Kaggle/Colab 上约 30-60 分钟跑完的子集 notebook。作者称分析由 Claude Code 辅助完成。
「Infra」频道最新
- Perplexity 开源沙箱平台 SPACE 并入 Crusoe 云 AI 产品线 — AravSrinivas · 2026-10-20
- vLLM 团队实测 agent 写 GPU 内核:Kimi K3 助力达 stock vLLM 1.73 倍 — lmoroney · 2026-10-20
- Gartner:2030 年前 AI 基建支出近 7 万亿美元,超 3.5 万亿或减记 — rohanpaul_ai · 2026-10-20
- Stripe 75 亿美元买的是「计量器」:路由不难,难在验证模型输出对错 — AIGODSEND · 2026-10-20
- Google Cloud 升级 VPC-SC 应对 Agent 流量：新增文件夹级边界且免费 — rseroter · 2026-10-20
- 为妻子对抗结肠癌,业余研究者复现 NBFNet 遇上 GPU 成本墙 — whafa · 2026-10-20