2026 年评测 AI Agent 的工具无关三步框架
Al_Grigor · x · 2026-09-09
作者提出一套不依赖特定工具的 AI agent 评测方法，2026 年依然适用：
- Vibe-check 并记录日志：先手动测试 agent，提问并审查回答，但记录所有会话；跑 10-15 轮后把每条记录标注为好/坏，可自建小型标注工具提速——这就是 gold standard 数据集的 v0。
- 校准 judge：用 AI 自动化标注，与人工标注结果对比，迭代至一致后，把通用分类规则写成 judge.md 文件；在新会话中测试 judge，通过后你就有了第一个指标：好结果占比。
- 搞垮 agent：借鉴 QA 工程方法——等价类划分（按预期行为给输入分组）和边界测试（测试每个分区的边界）。对 RAG agent，要测精确匹配、改写、歧义查询、离题问题等。
核心思路：从人工标注小数据集起步，先用 AI 校准自动化评测，再用 QA 方法系统性破坏 agent 找弱点。
「编程与Agent」频道最新
- 用 Agent 搭建个人阅读工作流:2 小时播客自动变成万字笔记 — jiayuan_jy · 2026-09-09
- 语义缓存加校验要付多少延迟?作者实测:30-40ms,LLM 评审要 1.7 秒 — Reasonable_Royal_621 · 2026-09-09
- HyperFrames 冲上 GitHub 趋势第一：发布视频由 Claude Code 制作，两天 300 万播放 — toolstelegraph · 2026-09-09
- 给 AI 助手配独立邮箱？用户不愿让 Agent 碰自己 15 年的老邮箱 — _AustinCalvert_ · 2026-09-09
- Dimillian：开发工具现支持在任意分支创建 worktree — Dimillian · 2026-09-09
- 开发者用 Claude 的 Astra 写自定义绘图引擎，游戏美术全部代码程序化生成 — Dimillian · 2026-09-09