Flash去偏后一致率71%,成本约为Claude的1/15

Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines

Sadman Kabir Soumik

cs.AI

2026-04-25

五模型、九种去偏里,Flash配S8在MT-Bench达71%一致率,成本约为Claude的十五分之一。

这篇在解决什么

LLM-as-a-Judge 用一个模型给两份回答判胜负。MT-Bench、AlpacaEval、Chatbot Arena 都靠它放量。人评贵、慢、难复现。评审会偏向位置、篇幅、自家文风和排版。位置对调、多评审投票、量表和思维链都有单篇验证,缺的是同一套实验:不同模型和不同去偏放在一起,看缓解会不会互相抵消。

位置偏见只剩偏差分 ≤0.04。更大的是风格偏见,内容相同时偏向 Markdown。榜单或 RLHF 奖励模型拿排版不同的回答互比,质量接近时,格式就能改名次。

方法

实验交叉 5 个评审、9 种去偏、3 个基准、4 类偏见。全部成对比较,温度 0.1。记录的是 JSON 里的 A、B 或平局,量表分不加总。Gemini 用结构化输出,其余模型从文本解析 JSON。

四家、三档:前沿为 Gemini 2.5 Pro、Claude Sonnet 4、GPT-4o,中端为 Gemini 2.5 Flash,开源为 Llama 3.3-70B。跨厂商才能测自我偏好。

主表五条。B0 朴素提示。S4 五维量表(准确性、相关性、完整性、清晰度、推理深度,1–5 分),裁决另填。S5 思维链,先分析再裁决。S1 对调后再评,一致才采纳,否则平局,成本 2 倍。S8(Combined Budget)把思维链和量表合成一次调用,再做同样的对调,成本也是 2 倍。S2 同族投票(温度 0.0、0.3、0.7,成本 3 倍)以及 S3、S6、S7 在附录。

MT-Bench 从 3355 对中不分层抽 400 对,种子 42,全配置共用,95% 区间约 ±5 个百分点。LLMBar 为 200 道对抗题,一份明显更好,另一份只是顺眼。自建集 375 对:注水约 2.8 倍、完全相同、Markdown 对纯文本、Gemini 对 Claude,各 50 对,应判平局;另 25 对把完整答案截到约 40%。后补轮转来源对和左右镜像的风格对,避免格式和槽位绑在一起。

偏见分 b = P(选目标) − P(选另一边),正值即偏见。长度按实际更长的一份计算,50 对里 34 对长文在 A、16 对在 B。检验用混合效应回归和 McNemar,20 组做 Holm-Bonferroni。n=400 的检出下限约 4–5 个百分点。

结果

风格偏见最大。基线、并按位置平均之后:Pro +0.76,Flash +0.72,Claude +0.68,Llama +0.40,GPT-4o +0.10。两名标注员看了其中 30 对,选 Markdown 的比例平均 57%。四家评审在同一批上是 73%–97%,高出人类 17 到 40 个百分点。GPT-4o 是 53%,离人不到 3 个百分点。这和「更好读」对不上。

冗长偏见按家族拆开。膨胀对上,长的是注水:Llama +0.44,Pro +0.40,Flash +0.24,GPT-4o -0.04,Claude -0.12。截断对上,长的是真完整:Pro、Flash、Claude 准确率 1.00,GPT-4o 0.96,Llama 0.88。前三家奖长度,Claude 罚注水,GPT-4o 几乎不奖。

MT-Bench 上与人类标签的一致率(n=400):

模型B0S1 对调S4 量表S5 思维链S8 组合
Gemini 2.5 Pro66.0%66.7%66.0%66.2%65.5%
Claude Sonnet 458.0%58.8%60.0%65.2%69.5%
GPT-4o65.0%66.5%64.0%65.4%65.7%
Llama 3.3-70B65.0%68.0%67.2%66.0%69.5%
Gemini 2.5 Flash63.5%68.2%65.5%65.5%71.0%

过 Holm-Bonferroni 的有三对。Claude S8 从 58.0% 到 69.5%,+11.5 个百分点,p<0.0001。Flash S8 从 63.5% 到 71.0%,+7.5 个百分点,p<0.0001。Claude S5 的回归增量为 +7.3 个百分点,p=0.0009。校正前显著、校正后没过的是 Flash S1(+4.7 个百分点,p=0.004)和 Llama S8(+4.5 个百分点,p=0.011)。Pro 和 GPT-4o 没有任何策略跨过显著性。跌得最多的是 GPT-4o 用量表,-1.0 个百分点,区间仍和基线重叠。

Flash 配 S8 是 MT-Bench 全部配置里最高的一格:71.0%,Cohen's κ=0.549,单次约 0.001 美元。同策略的 Claude 是 69.5%,约 0.015 美元,大约贵 15 倍。Llama 配 S8 也是 69.5%,κ=0.529,按 Vertex 的 Model Garden 计价,API 费用为零。Claude 上 S1 平局占 32.8%,S8 只有 12.5%,因为合成提示让换序后更一致。

LLMBar 把排序倒了过来。思维链最好:Claude 从 74.0% 到 87.0%(+13.0 个百分点,p<0.0001),GPT-4o 从 73.4% 到 76.4%,Llama 从 66.5% 到 70.5%。Pro 的思维链仍是 83.5%,Flash 从 80.0% 到 83.0%。位置对调往下掉:Pro -7.5 个百分点(p=0.0003),GPT-4o -11.1 个百分点(p=0.0001),Llama -6.5 个百分点(p=0.002),三对都过了校正。Llama 的 S8 从 66.5% 掉到 53.5%,同样过校正。不一致改平局,会丢掉做对的题。

思维链降风格偏见最稳,Claude 从 0.68 到 0.49,Pro 从 0.76 到 0.60。没有一种策略能在所有模型上把冗长偏见往同一方向压低。轮转之后的自我偏好分数,正文没有写。

为什么重要

模型互比前先统一排版。除 GPT-4o 外,风格偏见 0.40–0.76,接近的内容会被格式盖过。GPT-4o 贴近人类的格式偏好,推不到其他评审上。

策略看题目。含糊的自然偏好里,Flash、Claude、Llama 用 S8 提升最大。对抗题用思维链,避开位置对调。预算紧就用 Flash 加 S8:一致率高于同策略的 Claude,单价约十五分之一。Claude 裸评 58.0%,增益却是五家里最大的。前沿不会自动当好裁判。Pro 和 GPT-4o 基线已近 65%–66%,400 题上看不出增益,加调用主要是加钱。名单外的模型,默认一次思维链。

价值在对照,不在新模型。能拿走的是分场景策略、375 对受控集,和免重跑的逐题缓存。

局限与存疑

注水由 Flash 生成,和人写的啰嗦未必同分布,长度和质量没拆干净。人评只有 2 人、30 对。风格只做了 Markdown 对纯文本,表格、代码和语体都没测,而且偏见会随题目类型变。来源对两边仍可能有事实差,偏一边不等于认亲。没有 Mistral、Qwen。GPT-4o 费用按 4 字符 1 token 估算。Pro 和 GPT-4o 的小增益可能停在 4–5 个百分点的检出线下面。

κ=0.549 只是中等一致。文中引用的早期 GPT-4 人类一致率超过 80%,协议不同,不能并列,71% 也替代不了人评。不分层的 400 对,区间约 ±5 个百分点,1–3 个百分点的表内差距多半是噪声。

S8 的领先限于 MT-Bench。LLMBar 最高是 Claude 思维链的 87.0%。Pro 的 S8 从 83.5% 降到 76.5%(p<0.05,未过校正),Llama 的 S8 降到 53.5% 并且过了校正。讨论写校正后只剩两对,表 1 标了三对,含 Claude S5。以表为准。结果导语写过「膨胀对上所有模型都偏短」,后文数字相反:三家偏长,Claude 偏短,GPT-4o 近零。轮转自我偏好和 S3、S6、S7 不在主结果里。

术语

原文与代码

社区讨论

相关论文

全部论文解读