构建 agent eval 实操思路：评测即回放过往工作

Hammer 分享了一套构建 agent eval 的实操方法论，其核心理念是把评测看作「保存过去做过的任务，再用新模型或新的 prompt、skill 重放」，观察效果是否变好。作者指出搭建可靠 eval 的关键在于测量本身，约 90% 的功夫应花在测量环节，强调不要照抄他人现成评测集，而是沉淀自己的历史工作作为评测基准，从而避免迷失方向或引入不必要的麻烦。

2026-10-11 ~ 2026-10-12 · 2 条相关

• 评测即回放：用 R2+Docker 沙盒搭 agent eval,90% 功夫在测量 — danshipper · 2026-10-11
• 如何不迷失地构建好eval：把过去的工作存下来用新模型重放 — danshipper · 2026-10-12