SWE-bench 作者回应刷榜质疑并呼吁人在回路基准

普林斯顿研究者、SWE-bench 作者 Ofir Press 的 mini-swe-agent 被质疑「为基准优化」、不代表真实使用效果，外界担心在静态基准上开发评估 agent harness 会导致过拟合。他回应称，当前各类软件工程（SWE）基准几乎都面向全自动场景，而实际工作中大量任务由人与 AI 协作完成，因此业界需要引入人在回路的新型评测基准。

2026-11-06 ~ 2026-11-06 · 2 条相关