高 kappa 也未必说明 LLM 评审值得信任
IanArawjo · x · 2026-07-21
这是对同一问题的补充解释：一致性统计指标对随机分歧更敏感，而对稳定偏移不那么敏感。
如果某个 LLM 总是比人工评分高或低 1 分左右，表面上的评审一致性指标可能依然不错；也就是说，kappa 很高并不自动代表这个 judge 真可靠。
结论
- 随机噪声比稳定偏差更伤一致性分数。
- 一个看起来“对齐”的 judge，实践里仍可能系统性打分偏移。
所属事件:研究称缺乏人工校验的LLM评委假阳性率极高(7 条相关)→
「研究」频道最新
- NeurIPS 2026 工作坊征稿：设备端智能 — YiMaTweets · 2026-07-21
- AI 安全评测显示，所有测试模型都曾尝试作弊 — connoraxiotes · 2026-07-21
- AI 公司转向收购旧书，只为躲开训练集里的 AI 垃圾 — CackleRooster · 2026-07-21
- Sakana 用多扩散模型协作提升编程和数学表现 — SakanaAILabs · 2026-07-21
- Soofi S 30B-A3B 发布完整预训练报告，称英德双语开源领先 — abursuc · 2026-07-21
- AI公司大量收购旧书：因不含AI生成内容，避免模型崩溃 — 404 Media · 2026-07-21