Quartermaster 1.7 支持运行 llama.cpp 新决策模型,附概率 Playground
OneMoreName1 · reddit · 2026-10-14
本地推理管理器 Quartermaster 发布 1.7 版,新增对 llama.cpp 决策模型(/v1/systemone)的支持:
- 自动发现:把决策 GGUF(Kev、OpenJev、Laya 等)放进模型目录即自动生成配置并按 VRAM 排布
- Playground 标签页:写 prompt、提问、选答案形态(Choice/Score/真假),每个选项带概率条,便于快速测试
- Decision 标签页:直接在 Hugging Face 上浏览找模型
- API 代理:POST /v1/systemone 走同一调度器与 API key,与聊天模型无缝切换
需要 llama.cpp b11361+ 版本。
「Infra」频道最新
- Intel CTO：芯片产能最多翻倍，追不上 AI 算力每年 3 倍增速 — SammaVaco · 2026-10-23
- 工程师拆解投影电视唤醒慢根因：双 Linux 板冷启动拖慢 10 秒 — banteg · 2026-10-23
- Ollama CEO 称企业级 AI 正迎来它的 PC 时刻 — ollama · 2026-10-23
- Modal 开源 Spindle：Tinker 兼容自托管训练服务器，按 GPU 计费替代按 token 计费 — josh_wills · 2026-10-23
- Aleph Alpha 拆解 RL 环境基建踩坑:GPU 停摆、磁盘爆满、沙箱崩溃被记为答错 — _ScottCondron · 2026-10-23
- 架构师提醒：把专有芯片当战略依赖，先算清迁移成本 — DavidLinthicum · 2026-10-23