llama.cpp 支持决策模型:单次前向打分,最小 144M 仅需 3ms
ggerganov · x · 2026-10-02
llama.cpp 新增对「决策模型」(Decision Models)的支持,通过 /v1/systemone 端点提供,遵循 TypeSafe Jev 模型引入的 System One 格式,现有客户端只需换 base URL 即可接入。
与聊天模型逐 token 生成不同,决策模型读取输入状态(文本、JSON、截图)一次,直接为你给出的选项打概率分,单次前向即出结果。典型用途包括请求路由、内容审核、agent 步骤校验和下一步动作选择。
目前已支持的模型:
- Julia-1(144M,基于 mmBERT-small,50+ 语言,Apache 2.0,单次问答中位 3ms)
- Laya(421M,ModernBERT-large,英文,5ms)
- Kev-4B(4B,Qwen3.5-4B-Base,12ms)
- lev(4B,Qwen3.5-4B,36ms)
- OpenJev(27B,支持中英日德法印地语、支持图像输入,CC BY-NC 4.0,43ms)
实测速度基于单张 NVIDIA RTX PRO 6000。请求支持 choice、score 等问题类型。快速上手:llama serve -hf ggml-org/Kev-4B-GGUF。
所属事件:llama.cpp 新增决策模型端点,单次前向直接输出选项概率(8 条相关)→
「编程与Agent」频道最新
- 首席工程师提议:初级工程师的 AI token 额度应低于资深 — Madisonkanna · 2026-11-17
- 开发者复盘与 Factory 访谈:照单全收 AI 输出就没有竞争力 — Madisonkanna · 2026-11-17
- Factory 工程师:别拿「未来更强的模型」当借口,给代码库攒 AI 技术债 — Madisonkanna · 2026-11-17
- 大 V 宣称工作流已进入云 Agent + 无限量 Claude tokens 阶段 — jiayuan_jy · 2026-11-17
- Jane Street 工程师发问:Agent 做不好软件设计,那设计还重要吗 — charliermarsh · 2026-11-17
- Linear 代码评审改造:10 月 53% 的 PR 仅由 agent 加作者审完 — jiayuan_jy · 2026-11-17