vLLM与Ray异构组网部署大模型实践

技术社区正探讨在复杂的异构硬件环境中使用vLLM与Ray部署大模型的实践。该方案尝试将两台DGX Sparks与一台搭载RTX 5090的x64主机混合组网，并通过ConnectX协议进行跨设备通信。此举旨在探索能否在异构算力集群中，将计算密集型任务高效分配并迁移至消费级显卡上运行，为低成本与混合算力的大模型推理提供硬核参考。

2026-07-26 ~ 2026-07-26 · 1 条相关