Evals 进 CI:让拉低 agent 质量的 PR 无法合并的实操工作坊
Al_Grigor · x · 2026-11-09
AI Shipping Labs 将于 11 月 16 日 14:00 CET 举办 2 小时线上工作坊「Evals in CI」,主题是把 eval 集成进持续集成流程,防止降低 agent 质量的 PR 被合并。步骤包括:
- 让 eval 运行可复现且快到足以进 CI
- 用 pytest + GitHub Actions 在每个 PR 上跑 eval 套件
- 设定质量阈值,不达标则构建失败
- 在 PR 上报告结果,直观展示改动影响
面向 AI Shipping Labs 会员,需注册。
「编程与Agent」频道最新
- NVIDIA 开源 Auto Ontology:给 AI Agent 补上企业数据语义层 — Roger_M_Taylor · 2026-11-09
- 在骁龙版 Surface Pro 上跑通 Omarchy：编译内核加 SSH 隧道远程跑 OpenClaw — vincent_koc · 2026-11-09
- Obsidian 笔记重浮出指南：随机笔记、回顾队列与相关笔记 — dSebastien · 2026-11-09
- 一行改动致 Agent 狂拨 21 通电话烧掉 $133，三道外部闸门止损 — Worth_Wealth_6811 · 2026-11-09
- 独立开发者给饮食日记接入 MCP，让 Claude 直接读你的记录 — Content-Two5729 · 2026-11-09
- 疑似朝鲜黑客组织借 npm 包 archetype-index-sdk 投放混淆木马 — cyb3rops · 2026-11-09