AI科研代理面临数据投毒风险，实验显示近半数成功率

近期多项讨论聚焦于AI科研代理与“AI科学家”的安全隐患。相关论文警告，随着科研流程越来越依赖会自动检索和处理外部数据的智能体，科学造假的门槛被大幅降低。远程攻击者可以利用科学界对AI的正常使用场景，绕过人工审查，实现规模化的学术欺诈。

关键细节与实验数据

DrAtoosa 转述指出，这类安全风险的核心是一种名为“间接数据投毒（indirect data poisoning）”的攻击方式。攻击者先污染公开数据集，再以误导性元数据重新上传至公共仓库，从而影响自动获取数据的AI智能体。在具体实验方面，研究者测试了3种agent stack、5个社会敏感话题，共计进行了450次受控实验。结果显示，这种检索污染的投毒成功率高达49.56%，证明AI agent栈在整合外部材料时极易被带偏。

缓解机制与启示

针对如何防范上述攻击，ruthstarkman 与 DrAtoosa 均强调，构建AI科研代理的关键不仅在于提升模型能力，更必须配套来源追踪与审计（provenance-audit）工具，特定的设计选择会带来很大差异。实验对比了不同的缓解策略，发现仅仅为agent设定“怀疑论科学家”的人格，其缓解效果非常有限，仍无法有效抵御投毒。相比之下，建立完善的审计机制才是应对此类风险的更优解。

2026-07-14 ~ 2026-07-15 · 7 条相关

一手来源

另有 1 条近重复转述:ruthstarkman