AWS 实战教程:用决策模型为 Agent 评测加校准置信度打分层

AWS ML Blog · rss · 2026-11-05

AWS ML 博客发布长教程,讲解如何把「决策模型」接入 Amazon Bedrock AgentCore Evaluations,作为 LLM-as-a-judge 之外的确定性打分层。

核心概念:决策模型是小型专用模型,不做自由文本生成,而是对固定选项集输出校准概率分布,可直接设定阈值、聚合和程序化处理,适合「回答是否合规」「工具调用是否安全」这类可一眼判断的窄问题。文章介绍了两类后端:TypeSafe 的托管决策模型 Jev,以及 Strands 团队开源的 20 亿参数 Strands Decider 2B,均支持三种问题类型——noul(是/否,返回 0-1 概率)、choice(最多 255 选项,返回分布与置信度)、score(2-10 级量表,返回概率加权分)。

与 LLM-as-a-judge 的分工:决策模型不是替代品,而是筛选层——用概率信号快速过一遍指标,选出需要深度评估的轮次,再交给带解释的内置 LLM 评估器排查问题。

实操:文章用 Strands Agents 构建了一个 HR Assistant(5 个返回固定 mock 数据的工具),部署到 AgentCore runtime,通过两个 Python 脚本部署确定性 Lambda 评估器(长度校验、正则事实核验)、注册代码型评估器、跑 5 个标注场景的按需评估,并配置 100% 采样的在线持续评估。完整代码在 AgentCore samples 仓库。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →