高 kappa 也未必说明 LLM 评审值得信任
IanArawjo · x · 2026-07-21
这是对同一问题的补充解释：一致性统计指标对随机分歧更敏感，而对稳定偏移不那么敏感。
如果某个 LLM 总是比人工评分高或低 1 分左右，表面上的评审一致性指标可能依然不错；也就是说，kappa 很高并不自动代表这个 judge 真可靠。
结论
- 随机噪声比稳定偏差更伤一致性分数。
- 一个看起来“对齐”的 judge，实践里仍可能系统性打分偏移。
所属事件:研究警示：缺乏人工校验的LLM评委存在高假阳性率(7 条相关)→
「研究」频道最新
- rauchg 复现 OpenAI 发现：无网络微VM 也能借 CPU 争用 covert 通信 — ccerrato147 · 2026-10-27
- FlexGlue:稀疏到稠密特征匹配，速度与精度兼得并可甄别误配图像对 — zhenjun_zhao · 2026-10-27
- Mundo:几张照片重建可探索的世界模型,8 卡 GPU 也只有 1.5 FPS — mark_k · 2026-10-27
- INRIA 研究员将于 ENS 报告「作为实验科学的数学」:LLM 参与数学研究 — marc_lelarge · 2026-10-27
- 美国能源部 Genesis Mission 二期落地:AI 进军粒子加速器与稀有同位素分离 — prescott · 2026-10-27
- Tenstorrent 芯片跑通蛋白质生成模型,宣称无 HBM 短缺之忧 — gajesh · 2026-10-27