自改进自动研究循环为何失效？论文揭示 LLM 评判准确率骤降

dair_ai · x · 2026-08-05

一项新研究揭示了自改进自动研究循环为何容易变得脆弱。研究发现，随着迭代次数增加，LLM 评判自身想法的准确率会急剧下降。

在公开的 AutoSOTA 日志中，有效修改的比例在前两次迭代中为 70%，但到第六次迭代时已降至 43%。在包含 366 对基准测试中，随着成功修改的积累，评判的选择性准确率从 82.8% 暴跌至 56.9%，但 LLM 依然保持着同等的评判意愿。研究建议引入“Rehearse”等小循环改动来缓解这一问题。