DeepStress 框架曝光:搜索智能体面对坏证据仍自信作答
Orange · hf · 2026-11-13
Orange Research 与艾克斯-马赛大学团队发布 DeepStress,一个针对深度搜索智能体的动态压力测试框架。
- 方法:用动态生成的合成文档替换检索模块,以可控比例注入降质证据,系统分析智能体在证据质量受控时的最终答案与检索行为
- 关键发现:搜索智能体经常在检索证据不可靠时依然自信作答;当文档内容事实上错误时,智能体可能转而依赖记忆中的知识作答,而非纠正错误
- 背景:现有基准语料中低质量证据稀缺,导致鲁棒性失败难以复现、多为事后观察;BrowseComp-Plus 等工作虽区分了检索器与模型表现,但可控性仍不足
该框架为评估搜索智能体在证据质量退化下的真实鲁棒性提供了可复现的手段。
「编程与Agent」频道最新
- Codex 用 base64 把图片塞进日志,1200 张图实际存了 12GB — Yamapama · 2026-11-13
- 用户实测:Codex 把 1200 张生成图偷偷存了三份副本 — Yamapama · 2026-11-13
- 用 MCP 几次点击即可让 AI 连接邮箱、CRM 并协同行动 — emmanuelvivier · 2026-11-13
- 实测 Agent Substrate:官方宣称每秒500份简历,单节点只跑出37 — ghumare64 · 2026-11-13
- 开源自托管 AI 空间 Nautilo 发布：多用户多智能体同房间协作 — Dan_Jeffries1 · 2026-11-13
- 傅盛：Fable 5.2 一句提示词工作 20 小时，做出网页版类王者荣耀 — FuSheng_0306 · 2026-11-13