Unswarm:自托管 LLM 运行时管理器,支持多模型队列与代理
Atretador · reddit · 2026-08-23
Unswarm 是一个自托管的运行时管理器和代理工具,旨在解决管理多个本地 LLM 容器和脚本的复杂性。它支持注册特定的容器或 Bash 脚本,设置并行运行规则,并自动排队请求。
主要功能:
- 统一代理:为所有注册的模型提供统一 API Key,代理请求到相应后端。
- 智能调度:如果目标模型未运行,会自动启动容器/脚本并流式响应;支持根据规则决定哪些运行时可同时运行。
- 多智能体编排:支持多代理、多模型设置,例如将 Qwen 27B 作为常驻编排器,动态切换 Qwen 9B/35B 作为子代理执行任务。
- 跨机器/远程访问:可部署在 VPS 上远程访问本地模型,或在不同机器上并行运行代理。
注意:切换模型会重置缓存,不适合中途频繁切换模型的单次会话。
「编程与Agent」频道最新
- 实测 Sol 完胜 DeepSeek Pro,解决 Twitter 开发难题 — oran_ge · 2026-08-23
- AgentMail 插件:给 Grok Bot 分配独立邮箱地址 — PrajwalTomar_ · 2026-08-23
- 一段 Master Prompt 建成付费排行榜:附完整数据库 Schema — aliscodes · 2026-08-23
- 付费竞拍排行榜两天入账 10 万美元,作者公开完整复刻教程 — aliscodes · 2026-08-23
- 开发者为前端快速迭代模型探讨合作与 Cursor 插件 — aidenybai · 2026-08-23
- 瑞典天气 MCP 服务器:免鉴权接入 SMHI 气象数据 — modelcontextprotocol · 2026-08-23