论文质疑Agent Harness进化收益
dair_ai · x · 2026-07-16
这篇论文在重新审视 agent harness evolution 的评估方式。 作者认为，很多“自我进化 harness”带来的收益，未必来自 harness 本身，而可能只是迭代搜索的结果。论文指出： - harness evolution 本质上也是一种基于任务反馈的搜索，应该和同等反馈、同等推理预算下的普通任务搜索对比； - 如果搜索过程和最终测试共用同一个 benchmark，结果可能是在对该任务集过拟合，而不一定代表设计更好。 结论是，现有不少提升需要更严格的评估来验证。