开源工具 JudgeCalibrationKit：精准校准 LLM 评委与人类评分一致性
DaveAppleInc · reddit · 2026-08-01
开发者在 Reddit 分享了一个开源的 Swift 包 JudgeCalibrationKit，旨在解决 LLM-as-judge 评分后的一致性校验问题。
核心功能与亮点：
- 提供多种统计指标（如 Cohen's κ、Krippendorff's α）来对比模型评分与人类标注。
- 防掩盖机制：通过置信区间门控和聚类自助法，专门防止总体高分掩盖特定数据切片（如特定语言）上的严重偏差。
- 异常透明化：未定义的统计数据会显式保留原因，而不是简单归零或返回 NaN。
- 独立性强：核心统计模块无第三方依赖，支持 Linux，并可选适配 Apple 的评估框架。
作者希望向有实际评测经验的开发者请教如何处理多人评分、弃权和发布阈值等问题。
「编程与Agent」频道最新
- 实测 105 个 Bug：最贵模型不碰代码，Luna 性价比远超 Fable — PawelHuryn · 2026-08-01
- Acontext：开源 AI 智能体技能记忆层 — tom_doerr · 2026-08-01
- 斯坦福等机构举办 re:AGENT 黑客松，探索端到端科研智能体 — BrianHie · 2026-08-01
- Anthropic工程师工作流大转向：从提示词转向构建智能体图 — joemeno · 2026-08-01
- BaoCut开源Agent Skill:让Claude Code用自然语言剪辑视频 — huangyun_122 · 2026-08-01
- Bret Victor 2013 年演讲预言了如今的编程智能体 — mmmbchang · 2026-08-01