深大与港科大提出 ECA:给多模态 Agent 强制配备执行前证据校验
jiqizhixin · x · 2026-09-22
针对 AI agent 的一个常见故障:模型会先"断言"一个错误前提(如"地址已确认""该网站可信"),再基于错误前提执行点击或发文件,一个错误断言就可能毁掉整条任务链。深圳大学与港科大提出 ECA(Evidence-Carrying Multimodal Agents),把幻觉当作可利用的漏洞而非文本生成问题来治。
核心设计是职责分离:
- 多模态模型负责接收网页、截图和文档,理解任务并提出工具调用;
- 一组独立的验证器回到原始内容提取证据——点击前确认按钮确实存在且与任务匹配;发送前核验收件人、用户意图与附件权限;
- 只有证据通过检查后,工具调用才被实际执行。
也就是说,系统要求模型的每个关键主张都有可回溯的证据支撑,才能落地执行。
「安全」频道最新
- Carahsoft 高管：采购审批不能替代政府 AI 的安全审查与审计 — TechNadu · 2026-09-22
- 数据安全担忧下,Palantir 与 Nvidia 限制 OpenAI/Anthropic 模型使用 — AlexTensor · 2026-09-22
- Agent 产品被曝把他人财务文件泄进用户对话,隐私之忧再起 — Scobleizer · 2026-09-22
- AI 幻觉「看到」中国船上的核部件,美军险些动手 — CurieuxExplorer · 2026-09-22
- Feeld 约会 App 爆严重漏洞:私信与裸照可被任意访问 — NathanpmYoung · 2026-09-22
- WSJ 评论:AI 反垄断豁免或招致合谋,安全协作现有法律已覆盖 — AlexTensor · 2026-09-22