实测 5 家 LLM 评审:全都偏爱 Markdown,一家因格式选了错误答案
Business-Feedback635 · reddit · 2026-11-17
作者复现 TMLR 论文「Judging the Judges」的风格偏见测试,用 50 对内容相同(一版 Markdown、一版纯段落)的答案测试 5 家厂商的 judge 模型(Claude Haiku 5.5、GPT-6 Luna、DeepSeek V4.1 Flash、Qwen3.8 Flash、Gemini 3.5 Flash-Lite),共 1,880 次调用。
- 五家全部偏爱 Markdown:选 Markdown 版 70–81%,纯文本仅 15–30%;只看 24 对完整答案时仍 64% vs 31%。大模型也不免:论文里 Gemini 2.5 Pro 和 Claude Sonnet 4 偏得更狠。
- 一家因格式选了错误答案:在 Markdown 版植入一处事实错误,四个推理型 judge 都没上当,Gemini 3.5 Flash-Lite 三轮运行中有 6/20 次选了错误答案——且多数时候它指出了错误仍选它。
- 提示词加「忽略格式」大多产生平局:240 个判定中 180 个平局。
- 让 judge 先逐个分析再比较更有效:偏见大幅缩小(28 vs 12)。
结论:用 LLM judge 比较 prompt 版本时,选会推理的模型、要求先独立分析再对比、让其忽略格式,并把平局单独统计。代码和原始数据已开源。
「模型」频道最新
- Gemini Pro 用户爆料:选定的 Hydrogen/Argon 被自动重置回 Flash Lite — GoddogMC · 2026-11-17
- 「微软只找到 8 个 Copilot 用户」:Claude 与 Copilot 之战成段子 — djcows · 2026-11-17
- NVIDIA 老兵谈开源取舍:Nemotron 因开放模型的数据限制「做起来很难」 — PavloMolchanov · 2026-11-17
- 博主评 GPT 6 Astra:能力最强但「没品味」的模型 — justalexoki · 2026-11-17
- Google Antigravity 科学家计划扩容至 1 万人,免费享 Gemini 4 Carbon — GoogleDeepMind · 2026-11-17
- Google 推出 Gemini 4 Carbon,助力物理数学与生命科学研究 — GoogleDeepMind · 2026-11-17