W4A16 量化逆势提速 10%,解码 kernel 吃满 98% Tensor Core

niloofar_mire · x · 2026-10-24

humans& 团队发布 NVFP4 W4A16 优化工作：保持模型权重 4-bit，把激活精度从 4-bit 提到 16-bit，在解码阶段相比 FlashInfer 优化的 NVFP4 MegaMoE kernel 最快提升 25%，实际工作负载下生成吞吐提升最高 10%、整体延迟降低 7%，且精度更高（通常更少比特意味着更快但更不准，他们反其道而行）。

转发者 zianglih 展示的配图显示，该 kernel 的 Tensor-pipe 活动达到 98.32%，而 trtllm-gen BF16 W16A16 仅约 57%。相关工作已用于 Ampersand 的 RL 训练与 Boba serving，并回流开源社区（SGLang benchmark 在并发 8 下测得 10% 更高吞吐、7% 更低 TPOT）。