EMNLP 论文实锤：LLM 评分与被评内容无关也能部分预测
ravi_iitm · x · 2026-10-28
一篇被 EMNLP 2026 接收的论文（arXiv:2609.02942）质疑 LLM-as-a-Judge 评测的可靠性：仅用 rubric 文本（不看任何被评回答）训练的分类器，就能对评委输出取得不俗的预测准确率，说明评分标准本身编码了可恢复的信号，分数可在独立于模型输出的情况下被部分预判。
反事实扰动实验还显示：当候选回答或 rubric 标准被反转时，评委常常无法可靠更新判断。作者认为基于 rubric 的 LLM 自动评测方法需要更严格的审视。
所属事件:EMNLP论文质疑LLM评分可靠性：rubric伪影可被利用(2 条相关)→
「研究」频道最新
- srush 用 Lean 形式化验证 tokenizer,根治 RL 训练-推理不匹配 bug — srush_nlp · 2026-10-28
- 研究者预测:几年内分子模拟将高精度模拟大部分化学与生物学 — TimothyDuignan · 2026-10-28
- 研究者争论：AI 生成文本与人类文本差异尚无技术不可解证据 — _akpiper · 2026-10-28
- 粗粒化模拟可跨尺度放大，回应全原子生物体模拟不可行之说 — TimothyDuignan · 2026-10-28
- Agent harness 要被模型「吃掉」了?蒸馏实验显示通用脚手架正被训练进模型 — rseroter · 2026-10-28
- 「抽象神经元当嵌入」在词相似度上胜过全部 SOTA,句子检索惨败 — mayfer · 2026-10-28