混合人机评测流程图：LLM judges 至少 15 标签、IRR 约 0.40
IanArawjo · x · 2026-07-29
一张面向混合人类-AI 评测设计的决策流程图，讨论 LLM judges 何时值得用、何时该放弃，以及如何在使用后做统计校正。
- 先判断 AI judge 是否“值得折腾”：数据集足够大、且能留出独立调参集时，才更适合上 judge。
- 需要随机抽样做人类标注，并先在调参集上把 judge 对齐好。
- 图中建议至少满足 Nlabl ≥ 15，并且 IRR 约 ≥ 0.40，才可以考虑对 judge + human 数据做校正后的统计检验。
- 如果数据太小，或者评价指标本来就能自动编码，作者建议直接回到传统的人类数据/编码指标统计，而不是强行引入 LLM judge。
- 即使 IRR 很高，也不能跳过 PPI 校正；应报告 judge 模型、提示词/设置、对齐指标和测试结果。
所属事件:LLM评测流程图引热议，统计功效分析成焦点(2 条相关)→
「研究」频道最新
- 讨论：为何没人开发神经网络检测AI文本？图像已有研究 — emeka_boris · 2026-07-30
- Agent做数学研究仍困难：代码生成陷入证书和库存 — doodlestein · 2026-07-30
- TorchSpec 实现大规模分离式推测解码训练，已被腾讯混元等采用 — zhyncs42 · 2026-07-30
- 算力狂飙：2028 年 AI 将解锁的十大科技突破 — Annual_Judge_7272 · 2026-07-30
- 揭秘 SOTA 深度研究架构：模型原生训练与 150 个子智能体 — SimonShaoleiDu · 2026-07-30
- 普林斯顿教授评 MIT 非凸优化新论文：未达悬赏要求 — HazanPrinceton · 2026-07-30