Arize AI 演示:用 Traces 和 Skills 让编码 Agent 自查自修金融 Agent

AI Engineer · youtube · 2026-10-12

AI Engineer World's Fair 工作坊视频，Arize AI 的 Ankur Duggal 演示如何用 traces、评估与 skills 构建智能体改进闭环：

问题：一个金融 agent 编造答案、重复调用工具、产出被自身评估判错的摘要，表面合理的投资建议实际缺乏上下文支撑。
方法：通过 Arize CLI 与 skills，把 traces 和评估结果接入编码 agent 的工作区，让它自行检查 supervisor 与专家 agent 的调用链，定位数值 grounding 失败、编造回复与被静默绕过的错误。
实验闭环：dataset、evaluator、experiment 三类 skills 让修复可测试——例如国际股票查询问题，仅改国家上下文不够，必须同步更新底层工具。
经验：警惕编码 agent 把精力花在 linting 而非真正缺陷上；建议人工审查 agent 提出的改动，并针对应用实际失败模式定制评估，以捕捉流量与模型变化带来的回归。

视频附完整时间戳与 arize-skills 开源仓库链接。

「编程与Agent」频道最新