10 个开源 agent 测试仓库盘点:从 Promptfoo 到 UK AISI 的 Inspect
victor_explore · x · 2026-11-21
博主盘点 10 个用于测试和评估 AI agent 的开源 GitHub 仓库(星数为 2026 年 10 月数据),覆盖 prompt/agent 测试、RAG 答案评分、编码基准与红队测试:
- Promptfoo(28k stars,MIT):从配置文件测试 prompt 与 agent,含 LLM 评估与红队/漏洞扫描,支持对比 GPT、Claude、Gemini、DeepSeek 等
- DeepEval(20k stars):LLM 应用的单元测试框架
- SWE-bench(6k stars):用真实 GitHub issue 做编码基准
- Harbor(6k stars):并行运行 agent 基准,可测 Claude Code、Codex CLI 等 agent,也能自建 benchmark
- Giskard(6k stars):扫描错误答案与风险,面向 agent 系统的红队与测试生成
- TruLens(4k stars):用 LLM as judge 给每一步打分
- Inspect(3k stars):英国 AI 安全研究所(UK AISI)出品的大模型评估框架,含多方对话与评分工具
- tau2-bench(2k stars):Sierra Research 出品,测 agent 与模拟客户在真实领域的工具交互
- Autoevals(1k stars):开箱即用的评估打分器(LLM judge、BLEU 等)
- Scenario(1k stars):用模拟用户测试 agent
「编程与Agent」频道最新
- 盘点 10 个测试 AI agent 的开源 GitHub 仓库 — victor_explore · 2026-11-21
- Anthropic 推出 Claude 前置部署工程师学习路径:约 9.5 小时 11 门课 — Redo · 2026-11-21
- LTX 2.5 视频模型随机实测:搭配 ComfyUI 开源提示词生成工作流 — FeePrestigious7272 · 2026-11-21
- AI 粗剪一次生成 5 个版本,在 FCP 内用 audition 直接评估挑选 — Technovangelist · 2026-11-21
- 全程只用手机:开发者在外跑腿时给 Hex 做出 Android 版并准备提 PR — johnlindquist · 2026-11-21
- 用 Ollama 跑 DeepSeek 加 FCP MCP,3-4 分钟自动完成 35 分钟视频粗剪 — Technovangelist · 2026-11-21