「6 项信号满足 4 项」还是「qualified」？开源模型推荐工具纠结置信度标法

jokiruiz · reddit · 2026-11-04

SpecJudge 作者公开征求设计意见：该工具读取项目 spec 与任务文件，用本地 LLM 当裁判推荐适配模型，每个评级必须引用 spec 原文片段否则作废。难点是如何报告推荐可信度。作者设两条底线：不用 0–100 分数（假精确、诱导跨项目比较），不问模型自信度（自我报告不算证据）。候选方案 A 是「4 of 6」可检视计数，缺点是隐含六项等权重；方案 B 是带公开组件的有序等级 solid/qualified/thin/nominal，权重透明但更像主观判断。文中列出六项信号：逐维引用支撑、无未支撑维度、引用分散、最硬需求是明述约束、存在真实工作产物、上下文预算覆盖全部来源。