Matt Pocock：代码库评估是可观测性而非 evals

Matt Pocock 与 Michael Thiessen 就「代码库的 evals」展开讨论并达成共识：对 agent 改造代码库做前后对比、观察成功率与 token 用量，本质上属于可观测性而非 evals。Pocock 进一步界定：evals 类似 benchmark，是随时间持久存在的静态测试集；可观测性则是对活系统（代码库加 harness）的动态评估。Thiessen 还分享了实测方法：让 agent 在代码库中执行加测试、重构等多个任务，对比拆分文件前后的代码库状态、成功率与耗时。

2026-10-18 ~ 2026-10-18 · 3 条相关