斯坦福论文《The Judge Is Not Impartial》:LLM 评委自偏好实测 13,760 次判定

rohanpaul_ai · x · 2026-11-18

斯坦福论文《The Judge Is Not Impartial: Self-Preference in Medical LLM Evaluation》(arXiv:2611.18616)系统量化了医学场景下 LLM-as-judge 的自偏好问题——同一模型既当生成者又当评委,可能无论临床质量如何都偏爱自己的输出。

实验设计

关键结果

建议:临床 AI 部署中应使用跨模型家族的评委面板和多种评估指标,警惕 LLM 评委的循环性。

所属事件:斯坦福研究:8 个 LLM 评审医学答案时均存在自偏好(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →