智能体评测还在打地鼠阶段

maksym_andr · x · 2026-07-13

作者提到，他们在做 benchmarks / evals 时，当前主要还是在玩一种**临时性的“打地鼠”模式**：发现一个问题就补一个测试或规则。他认为这在**当前能力水平**下还算可行，但如果智能体变得更强，这种做法就会不够用，需要更系统的评测与约束设计。