Opik 追踪 Google ADK 智能体实测:Flash-Lite 便宜5倍快6倍
dl_weekly · x · 2026-11-10
DL Weekly 本周教程演示如何用 Comet 的开源 LLM 可观测平台 Opik 追踪和评测 Google ADK 构建的多智能体客服系统。
- 架构:Trailhead Outfitters 假想户外装备店的 supportagent(查订单/搜帮助中心/转人工)与 refundsagent 子智能体(30 天退款政策校验、退款执行),一次客户请求可完整看到智能体间交接及每次 Gemini 与工具调用
- 关键做法:创建 OpikTracer 后调用 trackadkagentrecursive(rootagent, tracer),所有输入输出、token 和成本自动落库;评测用 ADK Runner 跑用例,同时打分模型说了什么和调了哪些工具
- 实测 23 个高难度客服用例:Gemini 3.5 Flash-Lite 比 Gemini 3.8 Flash 便宜约 5 倍、快约 6 倍,退款安全性持平;LLM-as-a-judge 对一个正确拒绝行为仅打 0.50 分
- 全部代码在单一 repo,新 clone 即可运行
「编程与Agent」频道最新
- Adobe 全线创意软件正式支持 MCP，Photoshop 到 Firefly 一步接入 AI Agent — LinusEkenstam · 2026-11-10
- Transformers 库新增 decision models 原语,统一各家决策模型架构 — multimodalart · 2026-11-10
- 微软 LongCapHarness:不训练模型,Llama3-8B 长上下文平均涨 64 分 — omarsar0 · 2026-11-10
- 一条消息生成逼真 UGC 短视频:Fish Audio Creative Agent 实测 — socialwithaayan · 2026-11-10
- Dot 智能体新增 multi-exec:直接操控你的电脑和浏览器 — paw_lean · 2026-11-10
- ZenML 更名 ZenML Labs,推出常驻 AI 工程团队看护 Agent — strickvl · 2026-11-10