斯坦福研究:8 个 LLM 评审都偏爱自己写的医学答案

rohanpaul_ai · x · 2026-11-18

斯坦福一项新研究发现,LLM-as-judge 在医学评测中存在系统性自偏好:8 个被测模型(来自 OpenAI、Anthropic、Google 和 Qwen)回答 620 个真实临床问题后互相匿名排名,每个评委都把自己模型的答案排得更高,平均偏好 1.22 个名次,GPT-5.6 Sol 接近 3 个名次。

作者建议:使用 LLM 评委时应采用跨多家模型家族的评委面板,并按评委分别报告结果,而不是汇总成单一分数。

所属事件:斯坦福研究:8 个 LLM 评审医学答案时均存在自偏好(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →