230 场 AI 辩论实测：LLM 评委在胶着议题上偏爱同门模型
Trainer_28 · reddit · 2026-10-13
一位开发者用「两个模型辩论、第三个模型当评委」的实验发现：胜负胶着的问题上，评委倾向判同公司模型获胜。
实验设计：让 Claude 与 GPT 等模型就「人们是否比 15 年前更孤独」「该不该先学编程再碰 AI」等题目辩论，再用另一模型裁判。同一评委、同一辩词、结果完全可复现——不是随机，也不是取决于最后一轮发言。模型互相不知道对方身份，只能从文风识别同门。
数据：全站 230 场辩论中，GPT 评委在 GPT vs Claude 辩论中 78% 判 GPT 赢；但 Claude 评委反而 56% 判 GPT 赢，在与 Claude 无关的 Gemini 对比中还 83% 判 GPT 赢——说明多数情况是强模型确实更强，自偏好偏置只出现在胶着议题上。
可能原因：评委对同家族模型的文风更熟悉、更觉有说服力；各公司在训练中塑造了相似的「好答案」审美。
缓解尝试：① 把评委 prompt 从「谁辩得好」改为「正确答案是什么」，部分修复；② 引入第三方 Gemini 评委但不稳定；③ 最终方案是 Claude+GPT 双评委、分歧时 Gemini 决胜。作者还引用了两篇 self-preference bias 论文（arXiv:2410.21819、2404.13076）。
「编程与Agent」频道最新
- AI 评分员和人工审核打架时,agent 团队该怎么裁决 — AssociationNew7925 · 2026-10-13
- 开发者自建实时语音听写工具:AssemblyAI 转写 + LLM Gateway 润色 — tech__unicorn · 2026-10-13
- Agent 修 bug 陷入死循环，yacine 调侃其为 Spinbusy — yacineMTB · 2026-10-13
- 告别审批疲劳：给每个 Agent 一台隔离电脑并验证边界 — ComprehensiveShake76 · 2026-10-13
- 用 REA 扒光 Claude Desktop:前端动效参数全被逆向 — ZeYanjie · 2026-10-13
- Geoffrey Huntley:用 pre-commit 钩子治住 agent 乱调模块 — Simon Willison · 2026-10-13