llama.cpp 上线 /v1/systemone 端点,支持本地决策模型推理

mitsuhiko · x · 2026-10-03

ggerganov 宣布 llama.cpp 最新构建中推出决策模型(decision models)支持,新增 /v1/systemone 端点,可本地、高效、私密地运行 Jev 风格推理,当前支持多个开源模型且持续增加。mitsuhiko 回应表示喜爱但提出两点改进:希望标明各模型类型,并建议改称 classifiers(分类器)而非 decision models。

所属事件:llama.cpp 新增决策模型:单次前向输出选项概率(8 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →