Mesh LLM：多机拼成一个本地模型服务
thisguyknowsai · x · 2026-07-13
Mesh LLM 的思路是把你已有的多台电脑拼成一个服务，像本地单机一样调用大模型。它会先判断单机能不能承载；如果不行，就把模型按层切分，分布到多个节点上，由协调器负责规划层范围、拉起后续阶段，再对外提供一个 OpenAI 兼容接口 http://localhost:9337/v1。
帖文还提到几个关键点：
- 如果单机就能跑，直接本机执行，没有 mesh 开销。
- 如果模型太大，Skippy 阶段会把模型切成片段分发到不同机器。
- 节点只下载自己负责的层片段，而不是整个模型。
- 目前已有 72 个模型家族通过认证，覆盖 89 条兼容矩阵记录。
支持的模型包括 Qwen、Llama、Gemma、Mistral、DeepSeek、GLM、Phi、Cohere、Falcon 等，也支持像 Qwen3-VL、DeepSeek-OCR 这样的多模态拆分服务。Mesh 可以私有邀请使用，也可以通过 Nostr 公共发现。
所属事件:Mesh LLM 将多机拼成本地大模型服务(4 条相关)→
「Infra」频道最新
- 500 万美元种子轮不够 DeepSeek 训一遍:没 GPU 的 AI 创业只剩三条路 — FinanceYF5 · 2026-10-26
- HBM 需求转向:低端推理砍单,Rubin 将全系 12-high HBM — BenBajarin · 2026-10-26
- CircuitHub 发布工厂级机器人 The Grid，美国产 PCB 提速两倍对标深圳 — garrytan · 2026-10-26
- Ubicloud 发文修复 vLLM 工具调用准确率问题 — petrusenko_max · 2026-10-26
- Meta 批准无投票权 C 类股，2026 年资本开支指引达 1350–1450 亿美元 — thione · 2026-10-26
- Unsloth 发布 MiniMax-M3.1-Flash 量化：2-bit 保留 91.5% 精度，150GB 内存可跑 — danielhanchen · 2026-10-26