AgentLens评测编码智能体轨迹
Andrey Podivilov · hf · 2026-07-10
AgentLens 是一个面向编程智能体的生产级评测基准，关注的不只是任务是否通过，而是智能体在整个执行轨迹中的表现：是否遵循指令、如何使用工具、是否自检、如何纠错以及与用户的交互方式。 该基准将形式化验证与 LLM 轨迹评审、以及成对比较结合起来，让每次运行都能得到可读的评分解释。作者表示，这套方法不仅可用于模型排名，也可用于诊断智能体行为、比较版本差异，并在夜间评测流水线中捕捉产品回归；项目已开源。