Google 发布 Agents CLI 评测循环,爬坡式迭代 Agent 质量
rseroter · x · 2026-10-31
- Google Developers Blog 发布长文,介绍用 Agents CLI(v1.8.0)的 eval 命令族对 agent 做"爬山式"质量迭代:写测试用例→运行→打分→改 agent→重跑,分数升则保留改动,降则回滚。
- 核心命令:eval generate 对数据集跑 agent、eval grade 给 trace 打分、eval compare 并排对比两次运行、eval analyze 把失败聚类成主题、eval optimize 自动执行一轮爬山优化 prompt。
- 文中完整演示了基线建立、回归捕捉、更换模型后端实验、定时调度与自动告警的流程,并配图展示 8 轮迭代中 eval 分数从回归低点 2.7 爬升到 4.9 的曲线。
「编程与Agent」频道最新
- AI Engineer Code Summit 2026 开放申请:云集千名顶级 AI 工程师 — threepointone · 2026-10-31
- Todoist 搭建自愈系统：Agent 监控 Sentry 自动修 bug，五分之一免人工 — zeeg · 2026-10-31
- 独立开发晒 Multica 1.0 开发账单:4.3 亿 token 花 183 美元 — jiayuan_jy · 2026-10-31
- 游戏工作室让多台机器自动跑游戏回传 QA 报告 — draginol · 2026-10-31
- 开发者一年打造 Limma MCP:结构化全量数据,宣称检索零遗漏 — FlimsyIngenuity7248 · 2026-10-31
- Agent 审计新思路：不看总结，让用户说出改了哪些文件跑过哪些测试 — ronbodkin · 2026-10-31