llmux 用一个 profile 管理 vLLM 和 llama.cpp 切换
Available-Message509 · reddit · 2026-07-27
作者做了一个叫 llmux 的工具，用来管理 vLLM 和 llama.cpp 的多模型切换，避免每次换模型都手动改参数。
- 以“profile”形式一次性保存每个模型/引擎的启动方式，之后从列表里直接启动。
- 同一个引擎的不同版本也可以单独固定成 profile，比如 release、nightly 或自编译镜像。
- 还提供无头 CLI，方便脚本化和远程操作：llmux up、ps --json、logs、bench。
- 目前只支持 Linux + NVIDIA GPU + Docker（NVIDIA Container Toolkit），暂不支持 macOS 和 AMD/ROCm。
- 项目是 MIT 许可证，作者称团队在真实工作中也在使用。
「编程与Agent」频道最新
- 应用 AI 正从聊天机器人走向事件驱动分布式系统 — remilouf · 2026-07-27
- Multi-Head Latent Control 用隐状态减少 90.7% 大模型调用 — HuaweiTech · 2026-07-27
- Windows 数据库客户端工具想用单一 AI 订阅全流程开发 — Proud-Ticket-9379 · 2026-07-27
- 程序性记忆和检索记忆正在成为智能体基础能力 — goyalshaliniuk · 2026-07-27
- 图记忆与向量记忆构成现代 AI 检索栈 — goyalshaliniuk · 2026-07-27
- 情景记忆和语义记忆分别承载经验与事实知识 — goyalshaliniuk · 2026-07-27