AWS 开源 UAEF：框架无关的 Agent 闭环评测系统，36 项指标 7 大维度
AWS ML Blog · rss · 2026-11-11
AWS ML Blog 介绍 UAEF（Universal Agent Evaluation Framework），一套框架无关的 AI Agent 闭环评测系统，已被电信、医疗、金融行业的 12 家组织使用。
核心设计
- 适配器层：将 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 等框架各自的执行记录（消息、工具调用、agent 间交接）统一转换为标准 AgentTrace，先归一化再评分，实现跨框架同尺度对比；支持本地、HTTP 端点或托管运行时。
- 评测引擎：7 个质量维度——工具调用、响应质量、负责任 AI、性能、多轮对话、多 agent 协作、推理——由 36 个内置指标覆盖，每个指标输出 [0,1] 归一化分数；分确定性指标与 LLM-as-a-judge 两族，可自定义或接入 RAGAS、DeepEval。
- judge 安全：被评内容视为不可信输入，与 rubric 分离发送并转义；每个 judge 回答必须引用原文 verbatim 片段，找不到证据的评分被拒绝；judge 分数只作评测信号，不做安全门控（运行时防护建议用 Bedrock Guardrails）。
- 闭环：存储前做 PII 检测，实验元数据存 DynamoDB、完整结果存 S3，支持版本对比检测回归并生成报告，指导下一轮 prompt/模型/工具迭代。
文中还给出指标选择与数据集准备的 playbook，并为每个支持的框架提供可运行 notebook。
「编程与Agent」频道最新
- 给 AI 智能体一条电话线：Rime 配方让 Agent 替你打电话砍价退房 — aakashgupta · 2026-11-12
- 开发者自述：工作日只剩一个决定——这活儿要不要交给 Agent — daniel_mac8 · 2026-11-12
- Copilot 用 PowerShell 转 CSV 后,作者预告自写 MCP server 版本 — dfinke · 2026-11-12
- 没装 Python 也没关系:Copilot 靠 PowerShell+COM 零配置搞定 Excel — dfinke · 2026-11-12
- 开发者把 Figma、Linear、VS Code 移出了 Dock:工作已全面 headless — mobileraj · 2026-11-12
- 开源 music-skill:让 Claude 逐音符作曲渲染,7 个模型一段提示各出一曲 — BandicootNo3152 · 2026-11-12