实测 5 家 LLM 评审:全都偏爱 Markdown,一家因格式选了错误答案

Business-Feedback635 · reddit · 2026-11-17

作者复现 TMLR 论文「Judging the Judges」的风格偏见测试,用 50 对内容相同(一版 Markdown、一版纯段落)的答案测试 5 家厂商的 judge 模型(Claude Haiku 5.5、GPT-6 Luna、DeepSeek V4.1 Flash、Qwen3.8 Flash、Gemini 3.5 Flash-Lite),共 1,880 次调用。

结论:用 LLM judge 比较 prompt 版本时,选会推理的模型、要求先独立分析再对比、让其忽略格式,并把平局单独统计。代码和原始数据已开源。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →