llama.cpp 新增 /v1/systemone 端点,本地运行决策模型直接输出概率
solyarisoftware · x · 2026-10-03
llama.cpp 更新后可在本地运行「决策模型」:给它问题和选项,直接返回各选项的概率,而不是生成文本回答。新增 /v1/systemone 端点适合请求路由、工具选择、以及校验 agent 输出等场景。
支持的 GGUF 模型包括 Julia-1(144M)、Laya、lev、Kev-4B,以及支持图像的 OpenJev(27B)。除 OpenJev 为 CC BY-NC 4.0 外,其余均为 Apache 2.0。更新 llama.cpp 即可体验。
所属事件:llama.cpp 新增决策模型端点,单次前向直接输出选项概率(8 条相关)→
「Infra」频道最新
- Gridline 发布:微调、蒸馏、批量推理一站搞定,兼容 OpenAI 客户端 — Scobleizer · 2026-11-19
- 昇腾产能测算:明年或产 1920-2160 万颗,瓶颈在存储与封装 — teortaxesTex · 2026-11-19
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19