斯坦福研究:8 个 LLM 评审医学答案时均存在自偏好
斯坦福发表论文《The Judge Is Not Impartial》,通过 13,760 次判定实测发现 LLM-as-judge 在医学评测中存在系统性自偏好:8 个来自 OpenAI、Anthropic、Google 和 Qwen 的模型在回答 620 个真实医学问题后互评,结果显示评审模型普遍更偏爱自己生成的答案。研究提示用大模型做自动评审时需警惕自偏好带来的偏差,对医学领域的自动评测可靠性提出质疑。
2026-11-18 ~ 2026-11-18 · 2 条相关
- 斯坦福研究:8 个 LLM 评审都偏爱自己写的医学答案 — rohanpaul_ai · 2026-11-18
另有 1 条近重复转述:rohanpaul_ai