深大港科大提出ECA框架:用独立证据核验拦截Agent幻觉动作
机器之心 · wechat · 2026-09-14
深圳大学与香港科技大学（广州）研究者提出 ECA（Evidence-Carrying Multimodal Agents） 框架，针对「幻觉到行动的转化」（H2AC）问题：当Agent采信错误前提（如认错邮箱地址、误信「官方入口」页面）时，后续流程越顺畅，错误越容易一路通过并产生真实执行后果。论文地址：arxiv.org/abs/2605.19192。
核心设计：模型只负责提出动作，独立的验证程序（DOM、OCR、无障碍树）提取证据并生成「证据证书」，最后由规则化门控程序逐项匹配条件后才允许执行。页面上出现的文字不能替页面身份作证，需通过浏览器来源与可信名单交叉核验。
实验结果：在授权轨迹回放中，仅靠提示词防护时错误前提驱动任务的不安全动作率达85.7%；让大模型当安全裁判，最强配置仍放行约79.3%不安全动作。ECA自建200个任务中140个不安全动作全被拦截、60个正常任务全部完成；接入Chromium浏览器120个任务中85个不安全动作均未执行。加固后在1,700个攻击实例中无一绕过门控。真实网页452次正常点击中93.6%直接放行，门控判断耗时中位约0.66秒。
「安全」频道最新
- KIRA 中心发布欧洲变革性 AI 战略，呼吁今年起紧急行动 — Manderljung · 2026-09-14
- 研究者称 AI Agent 泄密根源不在对齐失败,而是工具滥用刮取本地隐私数据 — ryunuck · 2026-09-14
- Anthropic、OpenAI、xAI 三家掌门齐喊减速:Amodei 警告 6-12 个月内智能体僵尸网络可致千亿美元损失 — Puzzleheaded-King584 · 2026-09-14
- 安联报告:量子计算或先攻破银行加密,再谈赚钱 — mikeflache · 2026-09-14
- Casado 批 Anthropic 游说监管:史上最大科技业自毁操作 — Promptmethus · 2026-09-14
- 英国 AI 监管被类比 160 年前红旗法案：或重创本土产业 — alexvoica · 2026-09-14