LLM 评判没有人工验证不可靠
IanArawjo · x · 2026-07-19
作者指出：如果只用 LLM 给缺失的人类数据打分，结果和直接用有偏的 LLM judge 一样糟，依然会显著放大假阳性率。
他们在大量数据分布上做了模拟，发现未做校正的 LLM 判断很容易给出“看似显著、其实是假的结果”。相反，把 4 个经过 PPI 校正的统计检验 平均起来，即使只依赖少量人类标签，也能保持较好的假阳性控制。结论很直接：没有人类验证的 LLM judge 结果不可信。
所属事件:研究警示：缺乏人工校验的LLM评委存在高假阳性率(7 条相关)→
「研究」频道最新
- DeepMind 论文：LLM 无法自行随机采样，需外部传入随机数 — rohanpaul_ai · 2026-10-27
- 世界模型新玩法：物体赋重量摩擦系数，物理引擎推演机器人动作 — jonstephens85 · 2026-10-27
- 剑桥等机构论文揭露图软提示的 token collapse 病态行为 — Sapienza · 2026-10-27
- Mathathon 2.0 启动：与陶哲轩 SAIR 合作，团队获 150 万美元算力 — _sathvikr · 2026-10-27
- 推友提出「甜课程」真实存在：两类 ML 问题应分而治之 — mike64_t · 2026-10-27
- PixGR：像素空间生成式解码加速前馈 3D 高斯重建 — kwangmoo_yi · 2026-10-27