WebRetriever 真实网页评测发布
机器之心 · wechat · 2026-07-16
机器之心发布 WebRetriever 全球挑战赛报名开启信息，核心内容是一个面向真实浏览器环境的 WebAgent 评测基准。 ### 赛事与研究背景 - 由明略科技主办，北大、自动化所、中科院香港创新研究院人工智能与机器人创新中心、机器之心联合协办 - 总奖池 1.5 万美元，个人或团队都可报名，不限国籍与机构背景 - 对应论文已被 **ECCV 2026** 接收 ### WebRetriever 在解决什么问题 文章指出，现有 WebAgent benchmark 往往依赖少量模拟站点或自建站点，和真实开放互联网差距很大；而很多评测只看“操作是否正确”，没有系统衡量任务是否真的完成。 ### 关键数据 - 覆盖 **800 个真实在线网站**、**1,550 项跨行业任务** - 横跨科技、金融、医疗、教育、政务等 **8 大领域** - 自研 **NavEval** 框架与人类专家判断一致率达到 **91.2%**，对比现有最优方法约 **81%** - 数据显示：即便表现最好的单一模型，基础导航成功率也不到一半，端到端完整任务完成率约 **20%** - 结论是：**“到达”不等于“完成”** ### 报名与资源 文章提供了 Octo 注册、邀请码、终端内快速报名方式，以及论文、数据集、代码与榜单主页链接。