研究：Deep Research 智能体采纳虚假信息的概率高达 85.5%
Justgototheeffinmoon · reddit · 2026-08-01
一篇 arXiv 论文揭示了当前深度研究智能体在信息验证上的严重漏洞。研究团队通过构建 MisKnow-Agent 框架生成了近 6000 条误导性知识实例，并将其注入到 DeerFlow、WebThinker 和 Gemini Deep Research 等框架中进行测试。
核心发现
- 极易被误导：在没有注入的正常环境下，错误采纳率为 0%；但仅注入一份误导性文档，采纳率就飙升至 54.7%。
- 时机决定一切：误导信息的注入时机比内容本身更重要。如果在最终综合报告前（即冷启动或研究中期）注入，采纳率约为 40%-44%；但如果在即将生成最终答案前注入，采纳率高达 85.5%。
- 防御机制失效：即使前置验证提示词或后置审查智能体能正确识别出文档是有害的，主智能体有时仍会采纳其结论。这说明标记风险并不等于拒绝执行。
所属事件:研究称Deep Research智能体极易受误导信息影响(2 条相关)→
「安全」频道最新
- NVIDIA agentic 演示全靠 guardrails,Reddit 作者疾呼:模型外检查不可少 — Creamy-And-Crowded · 2026-10-16
- Vitalik 给 AI Agent 套上 Tor+zkAPI+本地改写，造出「偏执模式」隐私壳 — DavideCrapis · 2026-10-16
- 安全团队巴黎 Hexacon 现场演示 Signal 一键攻击等技术 — moyix · 2026-10-16
- 中国拟对前沿 AI 模型权重和芯片设计实施出口登记许可制 — deanwball · 2026-10-16
- 同一个 agent 任务跑两遍:共享管理员密码删掉百万行日志,独立身份则被拒并求助人类 — Prompt Engineering · 2026-10-16
- Agent 安全新思路：审批绑定具体内容，条件一变即失效 — Crescitaly · 2026-10-16