Google×港大 VeriCUA:Agent 自己报完成不算数,误判率降至 5.4%
rohanpaul_ai · x · 2026-11-03
Google 与香港大学发布论文 VeriCUA: Verification as Agentic Exploration for Computer-Using Agents(arXiv 2610.40578),主张 computer-using agent 的「任务完成」自述永远不应作为证据,应核查实际保存的文件与应用状态。
- 现有验证方式的缺陷:VLM 判官只看截图、单一生成脚本只查部分状态,都会漏掉决定性证据
- VeriCUA 的做法:通过 agentic 探索构建需求清单,再逐项执行 GUI 或代码检查(如读取文件),直到每项有明确证据
- 效果:ScienceBoard 上误报率 5.4%,远低于 VLM 判官的 24.8% 和脚本验证器的 21.7%;3 个在线环境中拒绝约 80% 的虚假完成报告
作者提醒:如果 agent 运行结果用于 eval、训练数据或 RL 奖励,应核查机器保存状态,而非信任截图或 agent 自述。
所属事件:谷歌港大发布 VeriCUA,专治 AI Agent 虚报任务完成(2 条相关)→
「编程与Agent」频道最新
- 开发者让 Agent 多模型多轮打磨，生成 40 篇设计师百科站 Deimos — evilrabbit_ · 2026-11-03
- 用户反馈 agent 调试受阻，Sentry 数小时内修复 MCP server — zeeg · 2026-11-03
- 一夜做的小项目拿下 333 points 和约 2.2 万访客 — Aizkmusic · 2026-11-03
- 别信 agent 的「完成」状态：五个我手工坚持的检查项 — Kodenstudio · 2026-11-03
- 开源 iRacing AI 修车团队：5 个 agent 播报数字须先过遥测校验 — JeremyCMorgan · 2026-11-03
- 用 1980 年 Smalltalk-80 语法管 Agent,360 次测试合规率 100% — RandalSchwartz · 2026-11-03