Mesh LLM：多台设备联网跑大模型
alex_verem · x · 2026-08-25
开源项目 Mesh LLM 允许用户将桌面电脑、笔记本甚至旧设备连接起来，通过分布式算力和内存共同运行一个 AI 模型。对于单机无法容纳的大模型，系统会自动将其分层分布在多台机器上。它提供 OpenAI 兼容的 API 接口，支持 CUDA、AMD、Vulkan 和 Apple Silicon，并兼容 Qwen、Llama、DeepSeek 等主流开源模型。
「Infra」频道最新
- IBM 发布 2nm 双架构处理器，单核同跑 ARM 与 Z 指令 — bookwormengr · 2026-08-25
- 英伟达 Vera CPU 高管称 Agentic AI 是史上最复杂计算负载 — firstadopter · 2026-08-25
- 超算数据中心日耗电仅 1.5GWh，远低于炼钢 — davidpattersonx · 2026-08-25
- NVIDIA 技术博客：Gemma 4 推理速度突破 1 万 OTSU — ricklamers · 2026-08-25
- sPTC：推测性程序化工具调用加速 Agent — a1zhang · 2026-08-25
- 推测式程序化工具调用：覆盖代码生成与LLM推理 — a1zhang · 2026-08-25