Arize AI 演示 agent 自学习闭环:遥测数据自动发现并修复生产故障
AI Engineer · youtube · 2026-10-11
AI Engineer 频道发布 Arize AI 的 Fuad Ali 演讲,展示如何为 agent 构建自学习改进闭环:
- 案例是一个基于 OpenAI Agents SDK 构建的购物助手(Wonder Toys),因价格过滤器 bug,自信地向用户返回超出预算的商品。
- 与其把遥测当作需要人盯的仪表盘,Ali 演示让 coding agent 直接消费 trace 和应用代码库,自动解释故障原因:Arize Signal 聚类重复故障、收集证据、发起调查甚至开 PR;Arize skills 则提供编码 agent 直连 traces、数据集和评估器的通道。
- 评估设计上区分固定的 LLM judge rubric 与可检查工具调用、代码和外部上下文的 harness:预算案例被转化为「返回价格是否满足请求区间」的评估项。
- Agent experiments 将故障数据集重放到开发端点,在变更上线前比较质量、延迟与成本,最终形成「自动检测→修复→真实故障上验证→人工审核提案」的完整闭环。
相关资源:arize-skills 与 project-rosetta-stone 均已开源。
「编程与Agent」频道最新
- 问一句「有没有更高效的做法」,编码 agent 提速 6 倍省 8 倍成本 — venturetwins · 2026-10-12
- LangChain 发布 Managed Deep Agents：Agent 即目录，运行时全托管 — EdenEmarco177 · 2026-10-12
- 9B 小模型本地跑网页浏览 Agent,查资料最快 11 秒 — BangsFactory · 2026-10-12
- 「Vibe coding」该退役了:模型代码质量已超普通工程师? — signulll · 2026-10-12
- 用 AI 扫卫星图找脏车道,自动发 90 美元清洗报价 — nikitabier · 2026-10-12
- Sentry CEO 泼冷水：套壳 OTel+ClickHouse 的可观测性创业注定失败 — zeeg · 2026-10-12