NVIDIA 推理栈优化提速
zhyncs42 · x · 2026-07-16
这条转发在介绍一套面向 **NVIDIA 平台** 的推理优化方案。 要点包括： - 结合 Colfax Research 的 **FA4 prefill kernel** - 使用基于 **CuteDSL** 的 decoding kernel - 在 **B200** 上支持 **MTP**，并给出 **TP4 + MTP 可达 355 tokens/user** 的结果 - 原帖还提到已经有 **Day-0 support partner**，并表示后续还有更多优化 整体来看，这是关于推理栈、kernel 优化和吞吐提升的技术更新，而不是单纯产品宣传。