Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica
NeurIPS 2023 Datasets and Bench
cs.CL, cs.AI
2023-06-09
让 GPT-4 当裁判评聊天模型,与人类专家偏好一致率 85%、高于人类彼此的 81%;论文量化了位置、冗长等偏差并发布 MT-bench 与 Chatbot Arena。
指令微调和 RLHF 训出来的聊天模型,用户明显更喜欢,传统基准却看不出来。MMLU、HELM 测的是封闭式知识题,LLaMA-13B 这种没对齐过的基座模型分数不难看,一到开放式多轮对话就露馅:追问一句「这对日常生活有什么影响」,它开始复读,微调出的 Vicuna-13B 却能讲清利率、通胀、就业。分数与用户感知脱节,人类评测是金标准但又慢又贵。这篇要造一个可扩展的自动化替代,让强 LLM 当裁判,并验证这个裁判到底可不可信。
先造两套带人类偏好标签的基准:
裁判有三种形态:双答案对比、单答案打分、参考答案引导打分。pairwise 分得清细微差距,但模型一多配对数平方增长;单答案打分可扩展,绝对分数却容易随裁判模型漂移。
核心贡献是把裁判的偏差一个个量了出来。位置偏差:对两个近乎相同的答案交换顺序再判,Claude-v1 只有 23.8% 的情况结论一致,GPT-3.5 46.2%,GPT-4 也只有 65.0%。冗长偏差:把带编号列表的回答注水重述后塞回开头,Claude-v1 和 GPT-3.5 的上当率均为 91.3%,GPT-4 是 8.7%。数学批改的短板更怪:GPT-4 单独答题能做对,看到候选答案里的错误反而被带偏。
修法朴素。交换位置各判一次,两边都赢才算赢,否则记平局;few-shot 范例能把 GPT-4 一致性从 65.0% 提到 77.5%,代价是调用费翻 4 倍,默认不用;数学题让裁判先独立解出参考答案再批,失败率从 14/20 降到 3/20。
| 对照 | 指标 | 结果 |
| GPT-4 pairwise vs 人类专家(MT-bench,非平局) | 一致率 | 85% |
| 人类专家彼此(同设置) | 一致率 | 81% |
| GPT-4 pairwise vs 众包用户(Arena,非平局) | 一致率 | 87% |
| Claude-v1 / GPT-3.5 / GPT-4 | 交换位置一致性 | 23.8% / 46.2% / 65.0% |
| 数学批改(默认 / CoT / 参考答案) | 失败率 | 14/20 / 6/20 / 3/20 |
GPT-4 与人类的一致率超过人类彼此,这是全文最硬的数。一致率还随两模型实力差拉大,从 70% 升到接近 100%,差距小的对决才容易判岔。分歧时把 GPT-4 的判词拿给人看,75% 被认为合理,34% 的人愿意改票。
基准本身也分得出模型:MT-bench(10 分制)上 GPT-4 拿 8.99,GPT-3.5 7.94,Vicuna-13B 6.39,LLaMA-13B 只有 2.61;同样四个模型在 MMLU 上是 86.4、70.0、52.1、47.0,挤在一起。用 4.8M token 精选对话微调的 Vicuna-7B,MT-bench 从基座的 2.74 冲到 5.95,MMLU 只从 35.2 挪到 37.3。少量高质量对话教会的是风格,不是知识,两类基准得并排看。
这篇把 LLM-as-a-judge 从顺手技巧变成有数据背书的评测范式。事后看,MT-bench 分数成了模型卡标配,Arena 榜单成了模型排位的公开战场,放出的 3K 专家票和 3 万对话也成了后续裁判研究的底料。从业者可以直接拿走三条:快速评测用 GPT-4 单答案打分,够稳且可扩展;pairwise 必须交换位置;数学推理题给参考答案。
说句实话,让 LLM 打分在当时不算首创,论文也交代早先博客和同期工作都试过。这篇的位置在于第一次拿人类金标准做系统对照,把每个偏差量出来摆上台面。
作者自认三条:只测了 helpfulness,诚实性与无害性没碰;准确性、相关性、创造性压成了一个分数;偏差缓解都是初步方案。位置偏差的根源(训练数据还是因果 transformer 从左到右的结构)停留在猜测。
读下来还有几处要留神。人类金标准是 58 名研究生水平的标注员、约 3K 票,池子不大;「75% 认为判词合理」是在展示 GPT-4 结论之后收的,难排除锚定效应;Arena 一致率只用 3K 单轮票验证。自我增强偏差论文承认下不了结论,但 GPT-4 给自己多算 10% 胜率、Claude-v1 多算 25%,裁判与选手同源时值得一直盯着。所有结论还都压在 GPT-4 这个当时最强的裁判上,弱一档的裁判一致性掉到 23.8%,换裁判的边界在哪,论文没有数据。