斯坦福研究:8 个 LLM 评审均偏爱自己写的医学答案
TheTuringPost · x · 2026-11-19
斯坦福论文测试了来自 OpenAI、Anthropic、Google 和 Qwen 的 8 个模型,让它们回答 620 个真实临床医学问题并互相匿名排名。
- 每个评审模型都把自己的答案排得比其他 7 个评委的平均排名更高,平均偏差 1.22 个名次,GPT-5.6 Sol 接近 3 个名次
- 去掉评分 rubric 偏差依然存在;告知评委答案出自哪个模型对偏差影响很小
作者指出:许多每周更新的排行榜依赖单一 LLM judge,若 judge 偏爱自家输出,榜单会系统性向该模型倾斜——换一个不同家族的 judge,多少结果还能站得住?
所属事件:斯坦福研究:8 个 LLM 评审均偏爱自己的医学答案(3 条相关)→
「模型」频道最新
- Astra 数学证明不走寻常路:自创 capacity 概念绕开三大 Mathlib 深定理 — IgorCarron · 2026-11-19
- 前 Claude 死忠粉实测:想用好 Astra/Sol,得重新学怎么下 prompt — mariofilhoml · 2026-11-19
- 博主观察:Google 与 Anthropic 正赢得「公共 AI」之争 — imjustnewatai · 2026-11-19
- 谷歌 8 天连发三个旗舰模型,网友猜测此前 RSI 暗示另有后手 — haider1 · 2026-11-19
- 隐性模型 Gestalt 登顶设计基准,领先第二名 Claude 214 分 — soleio · 2026-11-19
- mrfakename 发布 GLM-5.3-Flash 与 Qwen3.8-Flash-Next 去审查版 — mrfakename0 · 2026-11-19