MoE 解码的带宽瓶颈与硬件选择
AccBalanced · x · 2026-07-12
这条转述围绕 Groq 的收购讨论推理侧硬件设计与 MoE 在解码阶段的瓶颈：作者认为 MoE decode 很受带宽限制，而强网络配合 SRAM 分布式使用，会带来很好的性价比。 他进一步把 prefill 和 decode 的存储选择拆开看：prefill 更偏 FLOPS 受限，部分场景可用更便宜的 GDDR7；但 attention decode 仍需要 HBM。结论是，未来更重要的是硬件与推理系统的协同设计，Groq 的方向更适合处理 MoE decode，而 Cerebras 则是另一类、适用范围更广的芯片路线。