AWS 开源 UAEF:一套框架通吃各种 Agent 的评测体系
blaizedsouza · x · 2026-11-13
AWS 开源了名为 UAEF 的 Agent 评测系统,核心解决团队在持续重构 Agent 时如何建立通用评估框架的问题。
- 统一轨迹层:在最前面加转换器,把单步问答、多轮对话、多智能体协作的消息、工具调用与交接记录全部转成标准轨迹,评测引擎与框架解耦。
- 按场景选指标:订机票 Agent 和查制度问答 Agent 评测方式完全不同,不一上来全跑指标。
- 防作弊打分:能用代码直接比对的绝不用 LLM;必须用模型裁判时,评分标准与被测内容分开发送并做转义隔离,裁判必须原句摘抄原文依据,核对不到则打分作废。
- 回归对比:每次跑测绑定配置和 Git 提交记录,与基线逐项对比,任一指标跌超 5% 即上报,避免平均分掩盖关键功能倒退。
- 两层报告:统计层纯数学计算保证可复现;LLM 层推演问题归因并给出下一轮修改假设。
GitHub 与原文链接见帖子。
「编程与Agent」频道最新
- 开发者给编程 Agent 写了个 OP-1 风格 skill,把合成器体验带进开发流 — narphorium · 2026-11-13
- 面向 agent 的无头 3D 引擎 vork 开源: agent 用代码写场景与着色器 — ravisparikh · 2026-11-13
- agent 集群每月烧 300 万美元 token 开发多人游戏,「一小时不发版当 SEV-0」 — dl_weekly · 2026-11-13
- GitHub Copilot CLI v1.0.110 发布：agent 可代答 sudo 密码、/compact 尊重额度上限 — copilot-cli-release-app[bot] · 2026-11-13
- Replit Agent 新增自动采购与广告投放，从做产品走向经营生意 — amasad · 2026-11-13
- 2-bit DeepSeek V4.1 Flash 在双 V100 上跑编码 agent:12 小时实测 — a4mula · 2026-11-13