LLM-as-judge 该怎么报置信度？开发者拒绝 0-100 分的三条理由
jokiruiz · reddit · 2026-11-04
开源工具 SpecJudge 用本地 LLM 做 judge:读项目 spec 和任务文件,推荐适配模型,每级评级必须引用 spec 原文片段否则作废。作者刻意不问模型「你有多自信」——小模型的自我报告不是证据,而且这个工具的存在意义就是审查模型对自己推理的描述。
问题:sufficient/scarce/拒绝三态太粗,缺 constitution 的项目和只有单句引用撑着最硬维度的项目都落进 scarce。
硬规则:不打 0-100 分——百分数会诱导拿不可比的项目互比,给装饰性猜测披上精度外衣,反而比直白的结论更容易被信任。
候选方案:
- A) 明确比率:4 of 6,六项信号逐项 ✓/✗,字面可查但暗中等权——「全没依据」和「裁掉一个来源」都只扣一分
- B) 公开成分的序数档: solid/qualified/thin/nominal,成分放进 JSON 让用户自己改权重
六项信号:每个维度有引用支撑、无 unsupported 维度、引用分散而非集中、最硬需求是显式约束、有真实工作产物(spec/tasks)、上下文预算装下全部来源。
作者倾向 A 但未定,在 Reddit 征集:你会按哪个行动、哪个会误读?信号选得对不对?自报置信度到底有没有用?
所属事件:开源工具 SpecJudge 用本地 LLM 当裁判，公开征求置信度报告方案(2 条相关)→
「编程与Agent」频道最新
- 开源 Omnigent 同会话跑 Claude Code 与 Codex,已获 10.3k star — thisdudelikesAI · 2026-11-04
- 背包里的 MacBook 指挥三地机器集群，跨设备协同重建 139 页幻灯片 — henkvaness · 2026-11-04
- 创始人实测自家 Agent 42 秒 vs 竞品 172 秒，架构思路全公开 — SiteSimple · 2026-11-04
- 修好了也白搭:Claude 修复被 GitHub 故障卡住无法部署 — _rchaves_ · 2026-11-04
- Claude/GPT 内置记忆仍不可靠，长期项目用户吐槽跨工具痛点 — He_Mustakim · 2026-11-04
- 自托管 LLM 网关 Routerly 加 MCP 服务器，用对话查 token 花销 — nurge86 · 2026-11-04