Langfuse 追踪 FAQ Agent 实战工作坊：trace 变评测数据集
Al_Grigor · x · 2026-11-07
AI Shipping Labs 上周的「Tracing」工作坊完整教程已放出，演示如何为 FAQ agent 加可观测性并把线上 trace 沉淀成评测集：
- 在现有 FastFAQ 应用（搜索 DataTalks.Club FAQ 并流式回答）中接入 Langfuse 客户端封装与装饰器，让每次模型调用和搜索自动成为一个 span
- 分别演示 Langfuse Cloud 与 Docker Compose 本地自部署两种接入方式
- 通过 annotation queue 人工审核有趣的 trace，挑选有价值的问答整理进 Langfuse dataset，作为评测参考答案
教程配全程录像、章节标记和 GitHub 代码，适合想给 agent 补上 observability→eval 闭环的工程师照着做。
「编程与Agent」频道最新
- 让 agent 写 RL 实验，它把 token 预算做成旋转鹅进度图 — nabla_theta · 2026-11-07
- 20 年 C++ 老兵自写 ComfyUI 原生桌面客户端，告别浏览器卡顿 — elgeminy · 2026-11-07
- libghostty 1.0 发布：JetBrains 等产品 1250 万用户已在用 — jedisct1 · 2026-11-07
- Teknium：会话超 10 万 token 时上下文检索更划算 — Teknium · 2026-11-07
- Claude Opus 5.5 把 3 分钟任务做成 3 小时,自曝 57 条失误 — PMinervini · 2026-11-07
- Xepak:从 PostgREST 替代品长成本地 REST/RPC/MCP/RAG 一体构建器 — rumatoest · 2026-11-07