收藏向:10 个开源仓库,在用户踩坑前先测好你的 AI Agent

victor_explore · x · 2026-10-14

一条整理帖,汇总 10 个用于测试与评估 AI agent 的开源 GitHub 仓库(2026 年 10 月核对 star 数):

• Promptfoo(26K stars, MIT):一个配置文件测试 prompts、模型和 agent,可并排比较输出、跑 CI,还带红队测试
• DeepEval(19K stars, Apache 2.0):LLM 应用的单元测试,Python 现成打分器覆盖答案、RAG、agent 工具调用
• SWE-bench(6K stars, MIT):真实 GitHub issue 基准,编码 agent 的标准考题
• Harbor(6K stars, Apache 2.0):Terminal-Bench 团队出品,多容器并行跑 Terminal-Bench 等 agent 基准
• Giskard(6K stars):扫描 LLM 应用的错误回答、偏见与安全问题,自动生成测试集
• TruLens(4K stars):用 LLM 作裁判给每一步打分
• Inspect(3K stars):英国 AI Security Institute 的官方评测框架
• tau2-bench(2K stars):agent 对战模拟客户的真实域基准
• Autoevals(1K stars):现成评估打分器合集
• Scenario(1K stars):用模拟用户测试 agent

原文链接 →

「编程与Agent」频道最新

• 独立开发者优化个人站：首页任务列表从 1.8 秒压到 0.1 秒 — DanielLockyer · 2026-10-14
• 把评测 harness 当代码管:一套 CI 化的本地模型回归方案 — AKAMA199 · 2026-10-14
• GraphicalUI 获好评:自动整理混乱组件并生成设计系统 — ow · 2026-10-14
• XERJ Corpus Hub:给 agent 挂上专家知识库,Rust 代码质量立涨 — HeyAmit_ · 2026-10-14
• 一条指令调度多个 Grok bots:自主找缺口并行改进 — elonmusk · 2026-10-14
• 把一句话 prompt 发给你的 AI 参谋长:让所有 bot 主动找活干 — elonmusk · 2026-10-14

更多「编程与Agent」频道 AI 资讯 →