斯坦福学者质疑：前沿模型见过数据，agent 特征提取恐泄漏标签

anshulkundaje · x · 2026-08-22

这是基因组学研究者 Anshul Kundaje 与论文作者围绕 agent 提取特征是否存在结果标签泄漏的技术讨论。作者解释：他们将做证据提取的 agent 与训练分离，并对生成的证据做泄漏检查。Kundaje 进一步质疑：若特征来自某前沿模型已见过的试验，模型无论是否同一个 agent 都可能在特征图中注入结果信息；抽象 embedding 表示则很难检查泄漏。他认为最稳妥的策略是设置反映前沿模型训练截止日期的时间界限，测试集只用该日期之后发布的试验数据。