开源工具 SpecJudge 用本地 LLM 当裁判，公开征求置信度报告方案

开源模型推荐工具 SpecJudge 通过读取项目 spec 与任务文件，用本地 LLM 充当裁判来推荐适配模型，并要求每个评级必须引用 spec 原文片段，否则评级作废。作者目前纠结于如何报告推荐的置信度：例如应写成「6 项信号满足 4 项」还是「qualified」，并解释了拒绝采用 0-100 打分的理由，包括刻意不直接询问模型「你有多自信」。目前作者正公开征求社区对这一设计决策的意见。

2026-11-04 ~ 2026-11-04 · 2 条相关