llama.cpp 新增决策模型端点,单次前向给出选项概率
ggerganov · x · 2026-10-02
llama.cpp 服务器新增 /v1/systemone 端点,支持「决策模型」(Decision Models):发送一段状态(文本、JSON 或截图)加若干带类型的问题,模型在单次前向中为每个选项返回概率,而非逐 token 生成文本再解析。接口遵循 TypeSafe Jev 模型引入的 System One 格式,现有客户端只需改 base URL,实现见 PR #29818。
典型用途:请求路由、内容审核、校验 agent 某步是否成功、选择 agent 下一步动作。
首批支持模型(单卡 RTX PRO 6000 上单问题中位延迟):
- Julia-1:144M,基于 mmBERT-small,支持 50+ 语言,Apache 2.0,约 3ms
- Laya:421M,基于 ModernBERT-large,英文,Apache 2.0,约 5ms
- Kev-4B:4B,基于 Qwen3.5-4B-Base,英文,Apache 2.0,约 12ms
- lev:4B,基于 Qwen3.5-4B,英文,Apache 2.0,约 36ms
- OpenJev:27B,基于 Qwen3.8-27B,支持英德法印地中日,含图像,CC BY-NC 4.0,约 43ms
快速上手:llama serve -hf ggml-org/Kev-4B-GGUF。请求包含状态与问题,问题类型有 choice(返回最优选项及各选项概率)、score 等。模型可在 Hugging Face 的 Decision models 集合中找到,社区还维护了对比用的 Decision Index,后续会有更多模型加入。
所属事件:llama.cpp 新增决策模型端点,单次前向直接输出选项概率(8 条相关)→
「编程与Agent」频道最新
- FT:赶工修复 AI 找出的 bug,导致美国科技公司频繁宕机 — nordicinst · 2026-11-19
- ANT 上市前夜数据:Claude Code 一年反超 Cursor 和 Copilot — antgoldbloom · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- Orchestrator Cloud Agents 结束测试正式上线 — julianweisser · 2026-11-19
- 开发者开源企业级 Agent 审计追踪模型:10 个数据模型找安全工程师挑刺 — TheHamzaShahbaz · 2026-11-19