把评测门禁接进 GitHub Actions,坏 prompt 在合并前被拦截
bgoncalves · x · 2026-09-24
- 作者指出一个常见问题：改 prompt 和改代码一样随合并直接上线，但没人量化过好坏，坏 prompt 变更会畅通无阻地进入生产环境。
- 作者的做法是在 CI 中加入 eval gate（评测门禁）：把评测跑在 CI 流水线里，当 prompt 变更导致评测指标回归时，合并会被自动阻断，让回归死在 PR 队列里而不是线上。
- 作者将于 10 月 7 日免费开设一场实操 session，手把手教如何把评测门禁接入 GitHub Actions，并表示这是他给咨询团队做顾问时最希望对方一开始就具备的工程设置。
「编程与Agent」频道最新
- Sentry 创始人：Claude 用量是 Codex 十倍，Cursor 约为其三倍 — zeeg · 2026-09-24
- Sentry 创始人：Claude 是调用其 MCP 的最大消费者 — zeeg · 2026-09-24
- Dataiku 发布 Agent Management,统一盘点企业内跨平台 AI 智能体 — mattturck · 2026-09-24
- HQ 把 markdown 知识库升级为团队共享上下文层,可部署 agent 与应用 — VibeMarketer_ · 2026-09-24
- 意外发现：调用自家 MCP 最多的是 ChatGPT 而非编码工具 — zenorocha · 2026-09-24
- 开发者演示:Agent 驱动可自适应卡片，还能自建视频生成界面 — jasonkneen · 2026-09-24