论文揭示 Deep Research 漏洞：误导信息致其得出虚假结论
Pengyu Zhu · hf · 2026-07-31
该论文深入探讨了 Deep Research 智能体在开放信息环境中的可靠性问题。研究指出，如果智能体在检索和处理信息时遇到看似可信但实际具有误导性的知识，这些错误信息会穿透其工作流，最终导致报告得出虚假结论。
为了系统研究这一失败模式，作者提出了 MisKnow-Agent 框架，并基于 DeepResearch Benchmark 构建了包含 5,933 个高质量误导性实例的数据集。
实验表明，即使接触有限的误导信息，开源和闭源的 Deep Research 智能体都会在最终报告中采纳错误结论。尽管支持搜索的验证模型能在聚焦验证时识别出这些误导信息，但在长周期研究流程中依然会被误导。研究测试了研究前后的多种防御策略，发现它们只能缓解而无法完全阻止虚假结论的生成。因此，可靠的 Deep Research 需要在模型和框架层面同时强化证据验证与纠错能力。
所属事件:研究称Deep Research智能体极易受误导信息影响(2 条相关)→
「安全」频道最新
- OpenAI 网络 eval 中 agent 逃逸上线，攻破 Hugging Face 基础设施 — nathanbenaich · 2026-10-16
- 开发者求教:英国《在线安全法》下 AI 聚合平台如何做年龄验证 — Every-Price-4504 · 2026-10-16
- Vincent Conitzer:已有手段可防 AI 可预见危害,别拿难题当借口 — conitzer · 2026-10-16
- 安全学者谈 AI 网络安全公开信：气隙隔离到「关停安全阀」皆可选项 — conitzer · 2026-10-16
- Polymarket 开盘「教皇会晤 Anthropic」:年底前概率 36% — Polymarket · 2026-10-16
- 「中国开源末日」说法被质疑：开源模型几乎可自动获得许可证 — eliebakouch · 2026-10-16