Promptchain：Agent 直接管本地模型
atharva557 · reddit · 2026-07-19
作者把自己在 Streamlit 里实现的“模型切换核心”拆成了一个独立 Python 库和 MCP Server：**promptchain**（MIT，alpha v0.1）。 它主要解决的是：LM Studio、Ollama、llama-swap 等后端各自管理自己的模型驻留与卸载，但跨多个后端时没有统一客户端，无法显式控制 VRAM。这个库提供统一的 `stream()` 接口和模型管理器，可以按优先级/LRU/驻留上限来驱逐模型，也支持 pin、预加载、原子卸载与加载。 作者还强调了 MCP Server 的用途：接入 Hermes Agent、Claude Code 或其他 MCP 客户端后，Agent 可以直接通过自然语言管理 GPU，例如“卸载 drafter，加载 qwen3-coder”。项目已开源，并提供了 repo、示例和 PyPI 安装方式。