Mesh LLM 将多机拼成本地大模型服务

Mesh LLM 是一个开源 Rust 项目，旨在把现有多台电脑的 GPU 与系统内存池化，组合成统一的本地大模型推理服务，并提供 OpenAI 兼容 API。其机制会先判断单机是否可承载，不足时再由协调器按层切分模型，分布到多设备上运行，主打支持 70B 以上模型。

2026-07-12 ~ 2026-07-14 · 4 条相关

• Mesh LLM 分布式跑大模型 — petrusenko_max · 2026-07-12
• Mesh LLM多设备分布式推理 — Roger_M_Taylor · 2026-07-13
• Mesh LLM：多机拼成一个本地模型服务 — thisguyknowsai · 2026-07-13
• Mesh LLM：多机拼接本地推理 — techNmak · 2026-07-14