开源本地 AI 平台 Quartermaster：自动按显存配置模型加载
OneMoreName1 · reddit · 2026-09-04
Quartermaster 是一个开源（MIT）本地 AI 平台，从 llama-swap 分支而来，主打易用且不牺牲可定制性。
核心功能：
- 指向模型文件夹即可自动配置——读取 GGUF 头、检测实际可用 VRAM，自动计算每个模型的上下文长度、GPU offload、CPU/MoE 分配与 KV cache 大小，且全部可手动覆盖。
- 多后端支持：llama.cpp（自动下载并更新 Vulkan/CUDA/ROCm/CPU 构建）、stable-diffusion.cpp（SD/SDXL/Flux/Qwen-Image/LoRA/超分）、vLLM，还可注册任意可执行文件作为后端（如 TTS、ikllama 等分支）。
- 所有后端统一在一个端口后面，通过单一 OpenAI 兼容 API 提供，配单一调度器，模型换入换出时不会互相争抢 VRAM。
- 内置带联网搜索的聊天 playground，以及 Hugging Face 浏览器，可直接搜索模型、选量化版本并下载到模型文件夹。
「编程与Agent」频道最新
- Theo 评 Astra:万事皆世界级,唯独前端和可合并代码不行 — adonis_singh · 2026-09-04
- Upstash 推出 Docs7:为 Agent 自动提供可读文档 — dinasaur_404 · 2026-09-04
- Replit CEO 确认 GPT-6 将很快上线 Replit 供用户试用 — amasad · 2026-09-04
- Nous Research 为 Hermes Agent 带来 NVIDIA 设备一键本地部署 — markjeffrey · 2026-09-04
- GPT-6 Astra 电脑操作能力实测:独立完成剪辑、修图到Blender 4K渲染 — gabrielchua · 2026-09-04
- 用户对比 Grok Build 与 Claude:_remote控制好用,但用量疑缩水30%待解释 — Daniel_Farinax · 2026-09-04