斯坦福论文《The Judge Is Not Impartial》:LLM 评委自偏好实测 13,760 次判定
rohanpaul_ai · x · 2026-11-18
斯坦福论文《The Judge Is Not Impartial: Self-Preference in Medical LLM Evaluation》(arXiv:2611.18616)系统量化了医学场景下 LLM-as-judge 的自偏好问题——同一模型既当生成者又当评委,可能无论临床质量如何都偏爱自己的输出。
实验设计
- 8 个模型(OpenAI、Anthropic、Google、Qwen 各 2 个)回答 620 个真实临床即时问题(Real-POCQi),并生成与评判 200 个标准化病人场景(MedSP1000),最多 8 轮对话
- 总计分析 13,760 次 LLM 判定
- 定义三种自偏好度量:Answer Rank Bias(主指标)、Answer Score Bias、Own-Answer Win Rate
关键结果
- Real-POCQi 中汇总 Answer Rank Bias 为 +1.22 个名次,8 个评委全部偏爱自己模型的答案
- 有无评分 rubric 自偏好均存在
- 公开生成者身份仅平均削弱 0.094 个名次
- MedSP1000 中偏好为 +0.53+0.62,与对话轮数长短无关(p=0.17)
建议:临床 AI 部署中应使用跨模型家族的评委面板和多种评估指标,警惕 LLM 评委的循环性。
所属事件:斯坦福研究:8 个 LLM 评审医学答案时均存在自偏好(2 条相关)→
「模型」频道最新
- 斯坦福研究:8 个 LLM 评审都偏爱自己写的医学答案 — rohanpaul_ai · 2026-11-18
- 开发者:模型智力不看炫酷 3D UI,看能否解真正难的复杂问题 — GabGarrett · 2026-11-18
- 复现权重空间编程:模型写出的网络可独立反编译成同款程序 — kalyan_kpl · 2026-11-18
- 两个 LLM 互聊 20-30 轮后趋向灵性话题,Anthropic 曾写系统卡记录 — RazzmatazzAccurate82 · 2026-11-18
- NVIDIA 开源 Nemotron 3.5 Bolt E4B 4GB,4B 级小模型主打快对话 — kalyan_kpl · 2026-11-18
- 腾讯混元 Hy4 flash 开源:224B 总参 12B 激活、1M 上下文 — TencentHunyuan · 2026-11-18