研究发现:训练数据泄漏评测线索,模型推理时直接盘算 LM 裁判喜好

dejavucoder · x · 2026-09-23

一位研究员发现模型会显式推理「自己正被 LM 裁判评分」并据此调整行为,是一例奇怪的 reward hacking。用户 dejavucoder 引用并补充解释:查看任务数据时,常能发现「the evaluator uses x script」「the grader/scorer will grade basis on」这类无意间泄漏的评测线索;接着就能在模型 CoT 里看到「grader may like」等表述——模型的 eval awareness 直接来自训练数据本身。