llama.cpp 新增 /v1/systemone 端点，本地运行决策模型直接输出概率
solyarisoftware · x · 2026-10-03
llama.cpp 更新后可在本地运行「决策模型」：给它问题和选项，直接返回各选项的概率，而不是生成文本回答。新增 /v1/systemone 端点适合请求路由、工具选择、以及校验 agent 输出等场景。
支持的 GGUF 模型包括 Julia-1（144M）、Laya、lev、Kev-4B，以及支持图像的 OpenJev（27B）。除 OpenJev 为 CC BY-NC 4.0 外，其余均为 Apache 2.0。更新 llama.cpp 即可体验。
所属事件:llama.cpp 新增决策模型：单次前向输出选项概率(8 条相关)→
「Infra」频道最新
- AI 多头质疑 GPU 涨价是泡沫顶点：崩盘后捡便宜卡 — AIFlow_ML · 2026-10-03
- 曝中芯国际路线图：2030 年前无 EUV 联合量产，与台积电差距或超 10 年 — teortaxesTex · 2026-10-03
- 争议中的微软 Majorana 拓扑量子比特芯片交由 DARPA 独立测试 — skdh · 2026-10-03
- 开发者开源 GPU 集群管理模拟器,交互式学习调度与资源管理 — RevolutionarySea1836 · 2026-10-03
- 传腾讯五年 70 亿美元租用东南亚 10 万颗先进芯片绕开出口管制 — r0ck3t23 · 2026-10-03
- vLLM 启动慢问题成系统程序员「低垂果实」金矿 — zack_overflow · 2026-10-03