渣打银行用 LLM-as-a-judge 自动评估生成式 AI 风险,300+ 控制项
AWS ML Blog · rss · 2026-11-21
AWS ML Blog 详细介绍了 Standard Bank Group 与 AWS Professional Services 合作落地的生成式 AI 风险自动化评估系统。
要解决的问题:银行已有模型风险与变更风控流程,但每个生成式 AI 用例上线前都需风控委员会人工审阅和测试,治理成为流水线中最慢的一环。
架构:整套评估跑在银行自己的 AWS 账户内——Well-Architected Tool 做准入(自定义 lens 约 40 个风险问题)、Step Functions 编排、S3 存储证据、Amazon Bedrock 上的基础模型做 LLM-as-a-judge 评估(模型可随区域可用性切换,只需改配置)。
四步流程:
- 预评估 agent 在 Fargate 上扫描代码仓库与文档,自动填答并附证据链接,团队复核补漏;
- 流水线检查系统文档、政策文档、源码与 system prompt,并直接调用应用做活体测试:内置越狱与跑题问题、重复/改写同一 prompt 后用 embedding 模型检验回答语义一致性;
- LLM-as-a-judge 对每项检查返回是/否,所有检查映射到国际 AI 标准(管理/风险/安全)条款及银行自有政策,总计 300+ 检查项,覆盖 AWS 负责 AI 八大维度(真实性、隐私安全、透明、公平、安全、可控、治理、可解释);
- 按缺失证据比例打可能性分,结合可调严重度给出 Very low 到 Critical 的评级,每项发现可追溯到具体标准条款,便于向监管解释。
风控委员会仍保留审批权,但决策依据变成跨用例一致采集的证据。
「编程与Agent」频道最新
- Matt Pocock:别乱拆系统围栏,ADR 是 agent 必备上下文 — mattpocockuk · 2026-11-21
- Matt Pocock 谈 ADR 实践:只记难逆转的惊讶决策,越短越好 — mattpocockuk · 2026-11-21
- SwiftTerm 维护者:80% PR 涉 AI,亲历开源社区三波 AI 贡献冲击 — film_girl · 2026-11-21
- 开源 MCP 服务器让编程助手与个人 Agent 共享长期记忆 — Empty_Pizza9768 · 2026-11-21
- Cloudflare Browser Run 单次页面加载新增 PDF/链接/抓取/JSON 四种输出 — dinasaur_404 · 2026-11-21
- 聊天界面之痛:旧 artifacts、表格、计划全靠滚屏找回,注意力被打断 — max__drake · 2026-11-21