高 kappa 也未必说明 LLM 评审值得信任
IanArawjo · x · 2026-07-21
这是对同一问题的补充解释：一致性统计指标对随机分歧更敏感，而对稳定偏移不那么敏感。
如果某个 LLM 总是比人工评分高或低 1 分左右，表面上的评审一致性指标可能依然不错；也就是说，kappa 很高并不自动代表这个 judge 真可靠。
结论
- 随机噪声比稳定偏差更伤一致性分数。
- 一个看起来“对齐”的 judge，实践里仍可能系统性打分偏移。
所属事件:研究警示：缺乏人工校验的LLM评委存在高假阳性率(7 条相关)→
「研究」频道最新
- HF 工程师争论:非生成任务全用因果注意力是在浪费算力 — antoine_chaffin · 2026-09-11
- 智利学者：AI 反馈规模化是医学教育可持续的关键 — julianvarascom · 2026-09-11
- Nature 新研究实现全身器官细胞活动成像,揭示跨器官体级回路 — arjunrajlab · 2026-09-11
- SignNet 1M 手语数据集发布 — ducha_aiki · 2026-09-11
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- InFlux++ 方法发布 — ducha_aiki · 2026-09-11