Mistral 研究员提醒：评测 decider 模型务必全随机，否则信号是假的

antoine_chaffin · x · 2026-10-31

Mistral 负责决策模型（decision models）的研究员 Antoine Chaffin 提醒：评测 decider 模型时请把一切都随机化——评测中存在大量可被利用的信号（exploitable signals），这些成绩在真实流量上并不成立。转发者 din0s 补充道，正是有如此严谨的人在做决策模型，很多知识才会下沉到开源社区，低效或虚假的技术也没机会误导大家。

核心观点：模型评测若不随机化，模型可能学/利用评测中的泄漏信号刷出好成绩，泛化到真实场景即失效——对所有做模型评测与 benchmark 的人都是实用警示。