AllenAI 研究：改一个词让 LLM 评审准确率波动 50 个点

allen_ai · x · 2026-10-28

AllenAI 测试六个前沿模型判断研究想法是否新颖，发现 LLM-as-judge 对提示词措辞极其敏感。同样的想法对，问「哪一个被评为新颖」准确率 93.5%，改成「哪一个是新颖的」暴跌至 40.9%。全研究中提示词变化最多带来 50+ 个百分点的波动，有时甚至低于随机。

研究者尝试给评审模型加智能与工具也无济于事：GPT-5.6 Sol agent 开最高推理、迭代文献检索且不限搜索量只拿到 0.78 macro-F1，而 Claude Opus 4.6 仅凭 5 条预检索摘要就达到约 0.89，且 agent 方案每次判断成本高约 10 倍。两个专门构建的新颖性评估系统都输给了研究者最便宜的方案。结论：所有依赖 LLM 评审的 benchmark 结果都应被打上问号。