论文揭示 Deep Research 漏洞：误导信息致其得出虚假结论
Pengyu Zhu · hf · 2026-07-31
该论文深入探讨了 Deep Research 智能体在开放信息环境中的可靠性问题。研究指出，如果智能体在检索和处理信息时遇到看似可信但实际具有误导性的知识，这些错误信息会穿透其工作流，最终导致报告得出虚假结论。
为了系统研究这一失败模式，作者提出了 MisKnow-Agent 框架，并基于 DeepResearch Benchmark 构建了包含 5,933 个高质量误导性实例的数据集。
实验表明，即使接触有限的误导信息，开源和闭源的 Deep Research 智能体都会在最终报告中采纳错误结论。尽管支持搜索的验证模型能在聚焦验证时识别出这些误导信息，但在长周期研究流程中依然会被误导。研究测试了研究前后的多种防御策略，发现它们只能缓解而无法完全阻止虚假结论的生成。因此，可靠的 Deep Research 需要在模型和框架层面同时强化证据验证与纠错能力。
「安全」频道最新
- OpenAI 阐述其在欧洲的负责任 AI 治理实践 — OpenAI News · 2026-07-31
- 批 Altman 超级智能宿命论：AI 研究者痛斥其拒绝踩刹车 — davidmanheim · 2026-07-31
- 从 Anthropic 入侵事件看 AI Agent 审计日志的缺失 — amu4biz · 2026-07-31
- Mandiant报告：攻击驻留时间升至14天，边缘设备成安全盲区 — shashib · 2026-07-31
- AI并未凭空突破网络，只是高效利用了十年老漏洞 — evilsocket · 2026-07-31
- Grok聊天记录竟被谷歌收录，用户隐秘对话全网可搜 — porAssass · 2026-07-31