llama.cpp 新增决策模型支持:一次前向出概率,最快 3 毫秒
kalyan_kpl · x · 2026-10-03
llama.cpp server 通过新的 /v1/systemone 端点支持「决策模型」:输入状态(文本、JSON 或截图)加带类型的问题,模型在单次前向传播中为每个选项返回概率,而非生成文本再解析。API 兼容 TypeSafe Jev 模型引入的 System One 格式。
- 已支持模型:Julia-1(144M,约 3ms)、Laya(421M,约 5ms)、Kev-4B(4B,约 12ms)、lev(4B,约 36ms)、OpenJev(27B,多语言含中文、支持图片,约 43ms)。
- 典型用途:请求路由、内容审核、校验 agent 步骤是否成功、选择 agent 下一步动作。
- 上手:llama serve -hf ggml-org/Kev-4B-GGUF,问题类型含 choice 等;HF 上有 Decision models 集合与社区 Decision Index 横评。
所属事件:llama.cpp 新增决策模型端点,单次前向直接输出选项概率(8 条相关)→
「编程与Agent」频道最新
- Klaus 分享 AI 测试平台界面:一句话即可生成全站测试 — KlausCodes · 2026-11-19
- 开发者吐槽 GPT「防御式编程」掩盖 bug,官方回应征集案例 — pvncher · 2026-11-19
- Flutter 发布 A2UI 1.0:让 Agent 用真实交互式组件回应而非纯文本 — rseroter · 2026-11-19
- 一张图讲透 Agent 四件套:Skills 定流程、MCP 给访问、RAG 查知识、Memory 存经验 — MaryamMiradi · 2026-11-19
- Anthropic 发文详解 Agent 记忆:用“做梦”整理 Claude 的经验 — daniel_mac8 · 2026-11-19
- 开发者观点:外部记忆系统或比算法突破更能解决持续学习 — daniel_mac8 · 2026-11-19