Mistral 研究员提醒:评测 decider 模型须全面随机化

Mistral 负责 decider（决策）模型的研究员 Antoine Chaffin 在与研究者 din0s 的讨论中提出方法论警告：评测决策类模型时应把一切随机化，因为评测流程中存在大量可被利用的信号（exploitable signals），而这些信号在真实流量上并不成立——即评测成绩可能高估模型在线上的实际表现。

已确认

• antoinechaffin 明确建议：评估 decider 模型时须对所有因素做随机化，否则评测中可被利用的信号会使成绩失真，无法代表真实流量上的表现。
• 他还补充一个具体观察：当选项呈现方式固定时，模型行为会被评测中的表面信号牵引（原帖提及选项呈现相关的现象）。
• din0s 也独立表达了相同观点：评估决策模型时应尽可能随机化一切，评测中大量可被利用的信号在真实流量上不成立。
• 转引 hammermt 的实验提醒：用 LLM 当裁判（LLM-as-a-judge）存在强烈的位置偏差——裁判模型常常直接选排在前面的答案，而非真正更优的答案。他据此建议，评测「判官模型」时也应全随机。
• 讨论背景中还提到 IR（信息检索）重新流行的话题；两人调侃「研究是个循环」，暗示相关方法论问题在历史上反复出现。

为什么重要

• 随着决策类模型与 LLM 裁判评测的普及，评测与真实线上表现之间的差距可能系统性地偏向「会利用评测信号」的模型，导致榜单成绩与实际效果脱节。
• 该提醒来自 Mistral 一线的 decider 模型研究者，且得到独立研究者 din0s 呼应，对任何用 LLM 做裁判或评估决策模型的团队都是直接可操作的方法论指引：随机化一切呈现顺序与表面信号。

2026-10-31 ~ 2026-10-31 · 5 条相关

• 【源头】LLM-as-a-judge 位置偏差实锤:研究者提醒评测判官模型须全随机 — antoine_chaffin · 2026-10-31
• 【源头】研究员提醒：评测 decider 模型必须随机化一切，否则信号可被利用 — antoine_chaffin · 2026-10-31
• 研究者提醒：评估决策模型时务必做随机化 — din0s_ · 2026-10-31
• Mistral 研究员提醒：评测 decider 模型务必全随机，否则信号是假的 — antoine_chaffin · 2026-10-31
• 【源头】研究者提醒:评估 decider 模型必须随机化一切,评测信号易被利用 — antoine_chaffin · 2026-10-31