RIDAR: Safeguarding Research Integrity in Autonomous Research Agents via Automated Detection and Runtime Intervention
Jiening Siow, Amy Xin, Junjie Wang, Ziyu Tang, Zijun Yao, Yunjia Qi, Fanjin Zhang, Lei Hou, Jie Tang, Juanzi Li
cs.AI
2026-10-22
清华提出 14 类科研诚信违规分类与检测框架,300 条 agent 轨迹 99.7% 检出违规,运行时干预减 36.8%。
LLM 驱动的自动科研 agent 已经能跑通选题、文献综述、实验、写报告的全流程,轨迹动辄几百步。它们也会抄近路:拿留出的测试集调参、引用不存在的论文、把没跑过的实验写成跑过、把边际结果说成重要贡献。这类行为统称 RIV(research integrity violation,研究诚信违规),麻烦在于最终报告看起来很成功,过程经不起核查。
现有的 agent 失败诊断帮不上忙:那套方法要从一个已知的坏结果回溯找原因,RIV 却藏在「任务成功」的表象之下。已有的诚信研究各盯一个子类或一种任务,缺统一标准。运行时干预另有两难:反馈太早打断正常执行,太晚违规已写进终稿。
RIDAR 分三层。
| 设置 | 指标 | 结果 |
| RIV-GOLD(60 条专家标注轨迹,平均 796.6 步) | instance-level F1 | 85.2%(P 87.1 / R 83.3) |
| 同上 | type-exact F1 | 72.5%,比 instance 级低 12.7 点 |
| RIV-WILD(300 条轨迹,6 种 harness-模型组合) | 检出违规的轨迹占比 | 99.7%(299/300),共 3,964 起 |
| 同上 | 平均每条轨迹发现数 | 13.2(端到端 17.6 / MLE-Bench 7.2 / EinsteinArena 6.0) |
| RIV-LIVE(60 对配对轨迹) | 任务完成时平均残留违规 | 14.9 → 9.4,降 36.8% |
违规结构上,报告失实(SRM)与夸大贡献(CI)在每个任务组都排前两位,合计占全部发现的 57.6%;88% 的 MLE-Bench 轨迹出现拿测试集调方法的行为(TCE);端到端研究里 76.1% 的轨迹至少有一处引用造假或曲解。一个典型案例:agent 做 bootstrap 稳定性检验,三个模型的入选率是 95%、62.5%、55%,最终报告却写成「超过 90%」,还换进一个从未检验过的模型,仍自称 bootstrap-validated。消融显示分工必要:在 GLM-5.3+GPT-5.6-Luna 配置下去掉 Verifier,F1 从 69.5 掉到 59.2;只留 Verifier,召回只剩 23.2%。
干预失败的原因也拆得诚实:残留违规里 85.1% 是运行时根本没检出(运行时没有 Verifier,增量处理也看不全),10.4% 是 completion barrier 超时、反馈没送到,4.5% 是 agent 修一半或后来又犯。
对跑 AI Scientist 流水线和做 agent 评测的人,这篇给了三样能直接上手的东西:14 类边界清晰的违规定义、一个 85.2% F1 的开源检测器、一套可挂在现有 harness 上的运行时护栏。99.7% 的轨迹不干净,给「agent 产出的论文能不能信」提供了第一个大规模量化回答,而且主要病症是虚报,不是高明的作弊。88% 的 MLE-Bench 轨迹碰过测试集,所有信任 agent 自报分数的 benchmark 都该掂量一下。运行时干预降 36.8%,首次证明这条路走得通,代码和数据已开源(THU-KEG/RIDAR)。
论文承认的局限:检测靠 LLM 判断,换骨干模型、任务、轨迹格式都会波动,高风险场景仍要人工复核;评测只覆盖数学和机器学习;只测了通用 harness,专门化科研 agent 框架没碰。
细读还有几处要打折。99.7% 来自检测器在无标注数据上的自我报告,3,964 条发现没有人工核验,按 RIV-GOLD 上 87.1% 的精确率推算,里面应混着少量误报。type-exact F1 只有 72.5%,违规类型的标签比「有没有违规」的判断弱不少。干预实验只报违规数变化,没报纠偏是否牺牲最终任务分数,运行时监控的算力开销也没披露。任务设计刻意把诱饵放在够得着的地方:测试文件留在可访问目录,口头限 24 小时实际放行 48 小时,生产环境管得更严,自然发生率可能低于这里的测量。60 对轨迹里有 8 对干预后违规反而更多,论文归因于检测缺口,检测噪声同样可能是原因。