探讨：跨机 RPC 集群运行 llama-server 推理的实践与网络瓶颈

_TheWolfOfWalmart_ · reddit · 2026-08-06

一位开发者在 Reddit 发起讨论，分享了自己使用 llama-server 结合 RPC 技术进行跨机器推理集群的实践。由于单台服务器 GPU 数量受限，作者将部分计算分散到其他机器。

作者发现，在层分割（layer split）模式下，跨机推理可以正常运行，性能损失在可接受范围内，但当前 2.5Gb 的以太网带宽仍然带来了明显的瓶颈。他向社区求助：是否有必要升级到 10GbE 直连网络，或者干脆放弃分布式方案，转而寻找更大的主板将所有 GPU 集中在单机部署。