CMU 发布 AgentProofBench:首个可复用 Web Agent 验证器基准
CarnegieMellonU · hf · 2026-10-27
卡内基梅隆大学团队发布 AgentProofBench,用于评测 web agent 的可复用验证器(reusable verifiers)。
- 核心设定:将「冻结的接受规则」绑定到执行 trace 上——先在源工作区上探测验证器规则,再在环境发生变化的工作区上重放其判定,检验验证结论是否仍成立。
- 评测维度包括程序化门控(program-gate)的正确性与跨任务复用能力,论文展示了对错误状态误判 PASS 的失败案例。
- 该基准为「能否用可复用验证器来约束 web agent 行为」建立了首个基线测量。
项目页与 GitHub 已公开。
「编程与Agent」频道最新
- 博主让 Grok Bot 代理打一天电话:砍价省 $35/月、搞定健身卡退订 — Scobleizer · 2026-10-27
- Void v1.3 发布:JSX 路由、邮件别名等大批改进 — cnakazawa · 2026-10-27
- 开发者用 Spawn 加 Opus 做游戏世界构建,射击游戏地图可无限生成 — TAbrodi · 2026-10-27
- RL 环境设计长文:会操作软件不等于会达成目标 — ShenRaphael · 2026-10-27
- Rolldown 推出 Inline Common Chunks,减少小 chunk 文件 — irvinebroque · 2026-10-27
- NUS 提出多智能体编排框架 DynaFlow:精度超 AFflow 等基线 — NationalUniversityofSingapore · 2026-10-27