llama.cpp 新增 Decision Models:单次前向打分替代逐 token 生成
adnan_hashmi · x · 2026-10-03
Hugging Face 发布社区文章,介绍 llama.cpp server 通过 /v1/systemone 端点支持「决策模型」(decision models):输入一个状态(文本、JSON 或截图)和带类型的问题,模型单次前向传播即返回每个选项的概率,兼容 TypeSafe Jev 模型引入的 System One 格式,老客户端只需改 base URL。
- 原理:聊天模型每个输出 token 耗一次前向且需解析;决策模型读一遍输入,答案必然是给定选项之一并附带概率。
- 典型用途:请求路由、内容审核、校验 agent 步骤是否成功、决定 agent 下一步动作。
- 支持模型:Julia-1(144M,3ms)、Laya(421M,5ms)、Kev-4B(4B,12ms)、lev(4B,36ms)、OpenJev(27B,43ms,支持中英德法等多语言与图像),均基于 mmBERT 或 Qwen3.5 系列。
文章给出 quick start:llama serve -hf ggml-org/Kev-4B-GGUF,问题支持 choice 等类型,相关模型收录于 Decision models collection,社区 Decision Index 提供横评。
所属事件:llama.cpp 新增决策模型端点,单次前向直接输出选项概率(8 条相关)→
「编程与Agent」频道最新
- Eve 编码工具复用编译器模块图,构建时间从 56.9 秒降到 6.9 秒 — evilrabbit_ · 2026-11-19
- Klaus 分享 AI 测试平台界面:一句话即可生成全站测试 — KlausCodes · 2026-11-19
- 开发者吐槽 GPT「防御式编程」掩盖 bug,官方回应征集案例 — pvncher · 2026-11-19
- Flutter 发布 A2UI 1.0:让 Agent 用真实交互式组件回应而非纯文本 — rseroter · 2026-11-19
- 一张图讲透 Agent 四件套:Skills 定流程、MCP 给访问、RAG 查知识、Memory 存经验 — MaryamMiradi · 2026-11-19
- Anthropic 发文详解 Agent 记忆:用“做梦”整理 Claude 的经验 — daniel_mac8 · 2026-11-19