AgentCompass统一评测底座
opencompass · hf · 2026-07-16
**AgentCompass** 是一个用于评估 LLM agent 能力的统一开源基础设施。 核心设计把评测拆成三个独立部分： - **Benchmark**：评测基准 - **Harness**：执行框架 - **Environment**：环境 这样做的目标是减少当前评测流水线碎片化、提升复现性，并避免重复工程实现。它还提供： - 容错的异步运行时 - 轨迹分析工具，用于诊断更细微的失败模式，比如 reward hacking - 原生支持 20+ 基准，覆盖 5 个能力维度 作者希望它能作为一个可扩展、可复现的 agent 评测底座，推动后续研究。