多GPU推理下同时开启MTP与多调度步数的探讨

Civil_Fee_7862 · reddit · 2026-07-07

用户在多GPU部署中希望同时启用MTP(多Token预测)与vLLM的--num-scheduler-steps参数(如设为8),让每轮传输更多数据以摊薄多卡同步(all-reduce)的开销。其观察显示当前瓶颈来自GPU同步开销而非PCIe带宽,询问是否有人已实现类似方案。