Langfuse 工作坊:用银行助手讲透高风险 Agent 评测全流程
AI Engineer · youtube · 2026-10-18
AI Engineer 频道发布 Langfuse 团队 Doneyli De Jesus 与 Annabell Schäfer 的实操工作坊，以一个银行助手为例完整走一遍 AI 工程评测闭环：
- 可观测与合规：带 PII 脱敏的 tracing
- 数据集构建：从零搭建评测数据集
- 失败模式提炼：把领域专家的评论转化为可度量的 failure modes
- 评估器选择：LLM-as-judge 与代码评估器的取舍
- CI 集成：每次 prompt 变更自动跑评测，分数下降即阻断合并
- 看板：面向业务方的评测仪表盘
还涉及与编码 agent 协作的环节，适合做高风险 Agent 评测工程的开发者参考。
「编程与Agent」频道最新
- 博主用 AI Agent 全自动运营 YouTube 频道,首条视频破 1000 播放 — tibo_maker · 2026-10-18
- Luma 在 Claude Motion 内新增 Send to Luma,动效脚本一键续做成视频 — lmoroney · 2026-10-18
- 小企业别急着上 Agent：先写清流程再选工具才不翻车 — DavidLinthicum · 2026-10-18
- Matt Pocock 开源 grill-me Skill:让 AI 狠狠盘问你的设计方案 — paulabartabajo_ · 2026-10-18
- mitsuhiko 用 Claude Opus 诊断 macOS BTLEServer 100% CPU 卡死 — mitsuhiko · 2026-10-18
- Reddit 长文：Agent 记忆完美也可能出错，checkpoint 该存什么才算“完成” — jylusdev · 2026-10-18