NatWest 演讲:AI Agent 好写难验,83% 通过率掩盖 54 分差距
AI Engineer · youtube · 2026-11-04
英国第二大零售银行 NatWest 的首席 AI 工程师 Jonathan Osborne 在 AI Engineer 大会分享：拥有 1900 万客户、数字助手 Cora 每天处理约 10 万次对话的银行，如何从脚本机器人转向 AI Agent。「构建 Agent 是容易的部分，证明它安全才是难的。」
核心经验：
- 爆炸半径（blast radius）才是真正的风险，比能力更重要；
- 路由漏斗：先限流，只有部分请求才真正到达模型；
- 单一准确率分数不够，质量需要多个维度分数；
- 人工评审陷阱：83% 的通过率背后藏着 54 个点的差距；
- LLM 评审不可靠：一个 LLM judge 打分远高于人类，但与人类几乎不相关；
- 安全上线：影子部署 + feature flag 灰度发布，人类反馈作为放行闸门。
对受监管行业部署 Agent 的工程实践很有参考价值。
「编程与Agent」频道最新
- OpenAI DevDay 现场合影：演示 Agent 任务历史任意步骤 Fork — paw_lean · 2026-11-04
- 游戏开发者辟谣:AI 一天做出完整游戏多为炒作 — bendee983 · 2026-11-04
- 用 ChatGPT 从 Excel 一键生成带地图联动的交互式仪表盘 — TermRemarkable665 · 2026-11-04
- 开发者称 Agent 把开发周期从数周压缩到一天 — Suspicious_Orchid770 · 2026-11-04
- YC 孵化 Orgo：为 AI Agent 提供专属云桌面，已服务超 1000 团队 — Scobleizer · 2026-11-04
- 开发者自述：Vibe Code 出 PMF 产品后，工程化烂摊子靠专业开发救场 — sujingshen · 2026-11-04