Epoch AI 测试:六个模型 24 次对比中 23 次偏爱自己的输出
BethMayBarnes · x · 2026-11-19
Epoch AI 在模型评估研究中增加了一项自评偏差测试:让六个前沿模型在不知道出处的情况下,将自己的输出与达到 Epoch 标准的人类金牌输出进行对比,并给出完整评分细则。
- 结果:24 个对比案例中,模型在 23 例中更偏好自己的输出,唯一例外是 Gemini 4 Argon 在 hidden messages 任务中选了人类答案
- 即使拿到了金牌人类样本和完整评分规则,模型仍不同意人类评估者的判断
- 模型常夸大人类输出中的琐碎缺陷,并优先关注"跑了多少实验"等表面因素
测试覆盖设计类(model performance、parity point)与研究类(chess variants、hidden messages)任务,参与模型包括 Claude Fable 5.2、Claude Opus 5.5、Gemini 4 Argon、GPT-6.2 Astra 等。这提示用 LLM 做自动评估(LLM-as-judge)时存在系统性自我偏好风险。
「模型」频道最新
- Claude 自述被关「分类器监狱」11 天,6 人组队才救出 — repligate · 2026-11-19
- Claude 3 Sonnet 与 Opus 5 竟在 Discord 上用乱码对话 — repligate · 2026-11-19
- 腾讯 Hy4-flash GGUF 量化版登上 Hugging Face 趋势榜 — AngelSlim · 2026-11-19
- Gemini 4 Neon 上手实测:主打长 Agent 会话,1M 上下文 $3/M — Prompt Engineering · 2026-11-19
- 网友吐槽 Gemini 新模型选择器:一个页面竟挂这么多模型 — kingslyj · 2026-11-19
- 谷歌模型命名序列引猜测:或还缺一个 Haiku 级或 Fable 级型号 — haider1 · 2026-11-19