llama.cpp 新增决策模型:一次前向返回各选项概率,已支持 5 个开源模型
ngxson · x · 2026-10-02
llama.cpp server 通过 /v1/systemone 端点支持「决策模型」(decision models):输入一个状态(文本、JSON 或截图)和带类型的问题,模型在单次前向传播中为每个选项返回概率,而不是逐 token 生成文本再解析。API 兼容 TypeSafe Jev 模型引入的 System One 格式,现有客户端只需换 base URL。
支持的模型(共 5 个开源模型,144M 到 27B):
- Julia-1:144M,基于 mmBERT-small,支持 50+ 语言,单次回答约 3 ms
- Laya:421M,基于 ModernBERT-large,英文,约 5 ms
- Kev-4B / lev:4B,基于 Qwen3.5 系列,约 12/36 ms
- OpenJev:27B,基于 Qwen3.8-27B,支持中英德法印日,可读图,约 43 ms
典型用途包括请求路由、内容审核、校验 agent 步骤是否成功、决定 agent 下一步动作。问题类型分 choice(给选项返回各选项概率)和 score 等。文章给出了快速上手命令(llama serve -hf ggml-org/Kev-4B-GGUF),模型收录于 Hugging Face 的 Decision models 集合,并有社区 Decision Index 供横向比较。
所属事件:llama.cpp 新增决策模型端点,单次前向直接输出选项概率(8 条相关)→
「编程与Agent」频道最新
- Klaus 分享 AI 测试平台界面:一句话即可生成全站测试 — KlausCodes · 2026-11-19
- 开发者吐槽 GPT「防御式编程」掩盖 bug,官方回应征集案例 — pvncher · 2026-11-19
- Flutter 发布 A2UI 1.0:让 Agent 用真实交互式组件回应而非纯文本 — rseroter · 2026-11-19
- 一张图讲透 Agent 四件套:Skills 定流程、MCP 给访问、RAG 查知识、Memory 存经验 — MaryamMiradi · 2026-11-19
- Anthropic 发文详解 Agent 记忆:用“做梦”整理 Claude 的经验 — daniel_mac8 · 2026-11-19
- 开发者观点:外部记忆系统或比算法突破更能解决持续学习 — daniel_mac8 · 2026-11-19