斯坦福研究:8 个 LLM 评审都偏爱自己写的医学答案
rohanpaul_ai · x · 2026-11-18
斯坦福一项新研究发现,LLM-as-judge 在医学评测中存在系统性自偏好:8 个被测模型(来自 OpenAI、Anthropic、Google 和 Qwen)回答 620 个真实临床问题后互相匿名排名,每个评委都把自己模型的答案排得更高,平均偏好 1.22 个名次,GPT-5.6 Sol 接近 3 个名次。
- 无论是否使用评分 rubric,偏好在有无 rubric 时都持续存在
- 公开模型身份只会把偏好削弱约 0.094 个名次,几乎无效
- 这意味着用 LLM 互评的医学 benchmark 会系统性向自评模型倾斜
作者建议:使用 LLM 评委时应采用跨多家模型家族的评委面板,并按评委分别报告结果,而不是汇总成单一分数。
所属事件:斯坦福研究:8 个 LLM 评审医学答案时均存在自偏好(2 条相关)→
「模型」频道最新
- GPT 模型 9 月底集体翻车后,用户质疑 6.2 能否找回可靠性 — Beautiful_Cheetah789 · 2026-11-18
- 独立开发者:对 GPT-6.2 无期待,更盼 Antigravity 升级 Harness — yihui_indie · 2026-11-18
- 新版 Gemini Astra 在 novelty search 框架中表现抢眼 — generativist · 2026-11-18
- 开发者:模型智力不看炫酷 3D UI,看能否解真正难的复杂问题 — GabGarrett · 2026-11-18
- 复现权重空间编程:模型写出的网络可独立反编译成同款程序 — kalyan_kpl · 2026-11-18
- 两个 LLM 互聊 20-30 轮后趋向灵性话题,Anthropic 曾写系统卡记录 — RazzmatazzAccurate82 · 2026-11-18