模拟显示：LLM 评分员一致性高反而增加误判风险
IanArawjo · x · 2026-08-31
作者通过模拟 11 种评估者间一致性（IRR）指标，针对 Likert 量表数据 sweeping 偏差与噪声。结果显示，在较高 IRR 时，LLM 评判器的假阳性风险反而达到峰值，挑战了“高一致性即代表高质量”的直觉。
「研究」频道最新
- 整理编程语言与机器学习 YouTube 学习歌单 — Aiden_Tech_Ai · 2026-08-31
- 盘点 30 个涵盖编程 AI 设计的免费学习网站 — Aiden_Tech_Ai · 2026-08-31
- 研究指出长时智能体安全无法由短时轨迹保证 — rohanpaul_ai · 2026-08-31
- AI 微调作者风格能骗过检测器，引发版权担忧 — TuhinChakr · 2026-08-31
- 如何看待模型：偏好、倾向与 RL 的拉伸作用 — voooooogel · 2026-08-31
- StepGuard：通过平衡学习实现 Agent 步级防护 — AI45Research · 2026-08-31