OpenTelemetry+Langfuse 给 Agent 全链路追踪,工作坊拆解排错方法
Al_Grigor · x · 2026-11-03
AI Shipping Labs 将举办一场 Agent 追踪(Tracing)实战工作坊,核心解决一个常见痛点:Agent 给出错误答案时,仅看日志和最终输出无法判断问题出在检索、工具调用、prompt 还是模型本身。
工作坊内容:
- 用 OpenTelemetry 对此前系列工作坊的 FAQ Agent 做埋点,让每次 LLM 调用和工具调用都成为同一条 trace 里的一个 span
- 将 trace 发送到 Langfuse(开源可自托管),逐步查看输入、输出、延迟、token 数与每步成本
- 同一套 OpenTelemetry trace 也可接入其他后端
- 通过 trace 定位某个具体错误答案的成因
- 把有价值的 trace 转化为 eval 测试样例
参与者需具备 Python 基础、一个 LLM API key 和一个带工具的基础 Agent,结束后可带走一套可直接用于自己项目的追踪配置。活动面向 AI Shipping Labs 会员,由 Alexey Grigorev 主持。
「编程与Agent」频道最新
- 学者批 vibecoding 生态:28 个热门平台在催眠普通人买单 — arthurcolle · 2026-11-03
- Sage2 发布:抽取+决策双模型实时处理直播对话,延迟约 200ms — AccBalanced · 2026-11-03
- 同时 vibe 200+ 个 agent 是什么体验:开发者自嘲 LLM psychosis — vincent_koc · 2026-11-03
- 斯坦福发布协作智能基准:最强模型当队友只得 82.2 分 — StanfordUniversity · 2026-11-03
- 人大团队发布 CoworkOS:让 Agent 同事胜任长周期真实工作 — RUC · 2026-11-03
- Skillry 上线 2 个月 MRR 达 $4,330:免费视频库如何点燃增长 — yihui_indie · 2026-11-03