Google 发布 Agent 评测实操指南：四层检查替代 vibe check
rseroter · x · 2026-10-17
Google 开发者博客发布长文，讲如何系统性评测 AI Agent，取代只靠肉眼刷终端的 "vibe check"。
为什么 vibe check 不够：Agent 可能陷入重试循环、反复调用工具烧 token，最后仍返回一个看似合理的答案。这种隐性失败会推高云账单和 token 消耗、耗尽下游 API 配额、触发外部系统的重复副作用，并侵蚀用户信任。改一句 system prompt 修好一个工作流的边角案例，可能让另一个工作流不再调用必需工具。
四层检查体系（配图）：
- Unit tests——单独测工具函数、查询解析器、状态转移；
- Deterministic metrics——硬性要求，如 JSON schema 合规、正则模式、必含引用；
- LLM-as-a-judge rubrics——评判有据性、指令遵循、轨迹决策等定性行为；
- Integration tests——端到端跑完整多轮工作流，覆盖路由、工具与综合。
文章配有一个 60 分钟为 LangGraph Agent 搭建 eval 流水线的实操案例，核心主张是把评测当作渐进式旅程纳入开发生命周期，而非上线前的一次性检查。
「编程与Agent」频道最新
- Claude 写了 Claude Code 90% 代码,Anthropic 却仍招 67 个研究岗 — robleclerc · 2026-10-17
- 动画团队用 LTX 开源权重定制 IC-LoRA,打通 2D 关键帧到成片流程 — lmoroney · 2026-10-17
- HQ 一周合并 200+ 项改动、发布 8 个桌面版本 — VibeMarketer_ · 2026-10-17
- 同时跑 30 个 subagent：开发者晒并行智能体工作流名场面 — NERDDISCO · 2026-10-17
- OpenAI 升级 GPT-6 Pro：响应更快，多 Agent 可并行分工任务 — OpenAI · 2026-10-17
- 一行 PowerShell 实现 11 秒截图转表格，作者零手写代码 — dfinke · 2026-10-17