Agent评估应如简历:重长程复杂任务而非单题考试

有研究者提出，agent 评估应从“考试型”转向“简历型”：前者把任务限定为修复某个 PR bug 这类短程问题，只能反映局部能力；后者则考核长周期复杂任务的成果，例如“自主部署 3 个 B2C 健康应用并实现 70 万美元 ARR”。他还认为后训练数据也应更像简历而非考试。

2026-08-16 ~ 2026-08-16 · 2 条相关

• 模型评估应像看简历：侧重长周期复杂任务而非单次解题 — menhguin · 2026-08-16
• Agent 基准该学简历:考 70 万美元 ARR 而非修 PR — menhguin · 2026-08-16