HBF 可能推动本地 MoE 推理
alexandrecadrin · x · 2026-07-16
帖子认为 **HBF（High Bandwidth Flash）** 可能会成为把前沿级开源 MoE 模型带到本地推理的关键组件。 核心逻辑是：MoE 模型总参数巨大，但每个 token 只激活一部分专家，因此需要“**大总容量 + 小部分高速激活内存**”的组合。作者提出一个大约 **1 万到 1.5 万美元** 的本地 prosumer 加速器构想： - **512GB HBF**，可容纳约 **1T 的 Q4 参数** - **32–64GB HBM**，放活跃专家和工作内存 - 配合智能路由与预取，面向本地推理 文中还提到，这种配置可能适配 **GLM-5.2** 这类超大 MoE（约 **743B 总参数 / 39B 激活参数**），并有机会跑到约 **30–60 tok/s**。作者特别强调，它对医疗、金融、法律、国防等场景很重要，因为这些领域既需要前沿能力，又不能把敏感数据送出本地环境。