Langfuse 实战:用生产轨迹持续改进 AI Agent 的完整工作流
AI Engineer · youtube · 2026-10-12
AI Engineer 大会工作坊，ClickHouse 的 Annabell Schäfer 与 Lotte Verheyen 演示如何用 Langfuse 把线上 Agent 的失败变成可评测信号，形成持续改进闭环。
核心做法
- 基于 OpenAI Agents SDK 搭一个 IT 支持 Agent「Specs」，用 Langfuse 记录完整 trace（观察、模型调用、工具调用）
- 配置三类线上监控:LLM 判官检测用户不认同、代码检测全大写怒气输入、scope check 比对请求与系统提示词，每个 evaluator 显式映射到相关消息
- 用 Langfuse CLI + skill 让编码 Agent 基于种子生产轨迹调查模式，发现不必要的工具调用、重试、延迟和评测覆盖缺口
闭环方法论:把观察到的失败整理成代表性数据集 → 离线实验 → 回归检查 → 随真实使用变化重复。工作坊资源在 langfuse.com/workshop。
「编程与Agent」频道最新
- 50+ 免费 AI Agent 学习资源合集：视频与仓库一站打包 — ifioknkem · 2026-10-23
- 自封「全网最佳」的免费 AI Agent 资源库引围观 — ifioknkem · 2026-10-23
- Vercel 推出免注册部署：拖拽文件到首页即得线上 URL — steren · 2026-10-23
- 5 个 Claude Code 会话经 MCP 互发邮件，组队攻破多品牌网络摄像头 — doodlestein · 2026-10-23
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23
- 用同一个 Notion 工作区让多个 Agent 互相沟通分工，实测有效 — nbaschez · 2026-10-23