盘点 10 个测试 AI agent 的开源 GitHub 仓库
victor_explore · x · 2026-11-21
victorexplore(1.95 万粉)整理了一份 GitHub 上面向 AI agent 开发者的开源评测/红队工具清单(星数截至 2026 年 10 月):
- Promptfoo(2.6 万星,MIT)— 从配置文件测试 prompts、agents 与 RAG,支持红队/渗透测试/漏洞扫描,可对比 GPT/Claude/Gemini/DeepSeek 等模型
- DeepEval(1.9 万星,Confident-AI)— LLM 应用的「单元测试」框架
- SWE-bench(6 千星,MIT)— 用真实 GitHub issue 测编码 agent
- Harbor(6 千星,Harbor-Framework)— 并行运行 agent 基准,官方支持 Claude Code、OpenHands、Codex CLI 等
- Giskard(6 千星,Apache 2.0)— 扫描错误答案与风险,面向 agent 系统的红队与测试生成
- TruLens(4 千星,MIT)— 用 LLM judge 给每一步打分( TruERA 出品)
- Inspect(3 千星,MIT,UK AISI)— 英国 AI 安全研究所的 LLM 评测框架,内置内置工具、多轮对话和评分
- tau2-bench(2 千星,Sierra Research)— agent vs 模拟客服,测真实场景下的工具-agent-用户交互
- Autoevals(1 千星,Braintrust)— 现成的 LLM-as-judge、BLEU/ROUGE 等评分器合集
- Scenario(1 千星,LangWatch)— 用模拟用户测试 agent
「编程与Agent」频道最新
- Anthropic 推出 Claude 前置部署工程师学习路径:约 9.5 小时 11 门课 — Redo · 2026-11-21
- LTX 2.5 视频模型随机实测:搭配 ComfyUI 开源提示词生成工作流 — FeePrestigious7272 · 2026-11-21
- AI 粗剪一次生成 5 个版本,在 FCP 内用 audition 直接评估挑选 — Technovangelist · 2026-11-21
- 全程只用手机:开发者在外跑腿时给 Hex 做出 Android 版并准备提 PR — johnlindquist · 2026-11-21
- 10 个开源 agent 测试仓库盘点:从 Promptfoo 到 UK AISI 的 Inspect — victor_explore · 2026-11-21
- 用 Ollama 跑 DeepSeek 加 FCP MCP,3-4 分钟自动完成 35 分钟视频粗剪 — Technovangelist · 2026-11-21