单核加速 29 倍但整体仅提速 10%？内存瓶颈揭示真相

shifu_legend · reddit · 2026-08-31

作者在从零构建的 C99 推理引擎中，利用 AVX-512BW 指令集优化 BitNet 三元模型矩阵乘法内核，基准测试性能达到标量版本的 29 倍。然而，实际分析发现该负载受限于 DRAM 带宽（已达 95% 峰值），导致这一计算优化在整个推理流程中仅带来 6-10% 的端到端提升。作者分享了这一令人沮丧的发现，并邀请社区讨论在不同硬件上是否也存在同样的内存天花板。