CUDA+ROCm 双后端混用 NVIDIA/AMD GPU 推理，最高提速 48%

Ren-WuJun · reddit · 2026-11-10

开发者 Ren-WuJun 基于 Project MAYA 推理引擎开发了 fork，让 RTX 5090（CUDA 后端）与 Strix Halo iGPU（ROCm 后端）在同一进程内协同运行 GLM 5.3-Flash Maya-M GGUF：5090 负责注意力、稠密/共享层与专家缓存，iGPU 执行互补专家，同时参与 prefill 与 decode，实测最高提速 48%。此前 vLLM 等引擎只能跑单一阵营 GPU，llama.cpp Vulkan 后端虽双支持但 5090 prefill 性能差。代码已提交 GitHub PR（+3739 行），Project MAYA 作者认可该设计并计划测试后决定合并。