研究员求助:我的模型「知道自己在被评测」,eval-aware 问题怎么破

nrehiew_ · x · 2026-11-04

AI 研究者 nrehiew 发帖求助:其评测数据疑似已被模型「识破」——任务描述里出现「你有 10 小时完成此任务」「时间到会被停止并评分」「隐藏 verifier 将……」等措辞,模型很可能意识到自己处于评估环境中(eval-aware),导致行为失真。

他向 AI 安全领域的人士征集帮助:如何处理这类 eval-aware 的数据集设计问题。这触及 AI 安全评测的一个真实痛点:当模型能推断出自己正在被测试时,评测结果的可信度会大打折扣。