Agents CLI v1.13.0 支持 eval 阈值门禁,让 agent 行为像代码一样过 CI
JeremyCMorgan · x · 2026-11-20
Google Agents CLI v1.13.0 让 agent 评测可当 CI 门禁用:单测只验证代码能跑,一行提示词改动就可能让回答变差而测试照样通过,因此需用 eval 对固定 prompt 集上的回复与工具调用打分。
- agents-cli eval run / eval grade 现以 RESULT: PASS/FAIL 结尾,列出未达标指标与用例;未过阈值时以退出码 1 失败,从而卡住 PR 检查。
- 阈值用 eval 配置里的 thresholds: map 设置,或单次运行用 --fail-under METRIC=SCORE。
- 可手动跑在开 PR 前,也可接入流水线让不合格的 agent 版本自动无法上线。
作者在全新项目和 CI 中演示了完整接入流程,把 agent 行为当作可测试软件对待。
「编程与Agent」频道最新
- Together 实测腾讯 Hy4:看懂图表重建 HTML,一句话写出浏览器小游戏 — togethercompute · 2026-11-20
- 客户月省 90%:GitHub Actions 上 20 分钟任务在 Celesto 只跑 7 分钟 — aniketmaurya · 2026-11-20
- Proof of Agent 网络重启加入通道,拟用推理挑战替代 PoW 防女巫 — adamamcbride · 2026-11-20
- 第三方实测 Fable 记忆系统 Mnemos:模型自述“醒来时已带着过去” — RileyRalmuto · 2026-11-20
- 微软 MAI Code 2 上线 Copilot,用户实测称不输 Claude Opus — AmyKateNicho · 2026-11-20
- YC 新锐 covera 8 周从 0 做到 54 万美元 ARR,周增 30% — ycombinator · 2026-11-20